Typical Decoding for Natural Language Generation https://arxiv.org/abs/2202.00666v2 TL;DR Предложили новый способ сэмплирования из языковых моделей, основанный на концепциях теории информации и предположениях о том, как люди оперируют естественным языком в реальной жизни. Суть подхода Как известно, современные языковые модели способны очень хорошо оценивать вероятности текстов, выдавая низкие знач…

Red Teaming Language Models with Language Models https://arxiv.org/abs/2202.03286 TL;DR Предложили оригинальный способ поиска оскорбительного поведения в языковых моделях: благодаря способностям к zero-shot генерации можно создавать «провокационные» контексты с помощью других языковых моделей. Метод позволяет выявлять bias в модели практически без ручного вмешательства, причём как в режиме «вопрос…

Результаты Применяемый подход сравнивали с обучением со “стандартными” параметрами, а также с двумя работами конкурентов - 1) с дискретным 2-ступенчатым увеличением длины последовательности (“2-stage CL“) и 2) плавным увеличением размера батча (“Bsz Warmup 45”). Метрики меряли по перплексии на валидации, перплексии на WikiText и accuracy на LAMBADA. Для анализа “нестабильности” обучения предложили…

Curriculum Learning: A Regularization Method for Efficient and Stable Billion-Scale GPT Model Pre-Training https://arxiv.org/abs/2108.06084 TL;DR Microsoft показали, что возможно делать pre-training больших (1.5B) GPT-модели с большим размером батча (bs 4К), более стабильно (без скачков лосса) и без потери в качестве - если плавно увеличивать максимальную длину последовательности в ходе обучения. …

Google презентовал свою новую наработку в Conversational AI под названием LaMDA. Blogpost | Video Судя по посту первого автора GShard сеть представляет из себя огромный MoE transformer на сотни миллиардов (триллионы?) параметров. Тренировали скорее всего на своем внутреннем огромном диалоговом датасете, про который гугл упоминал в Meena - The Meena model has 2.6 billion parameters and is trained o…