Кстати! Мы ищем Senior NLP Engineer в наш дорогой Conversational AI стартап

* Недавно прошли акселератор a16z
* Обучаем языковые модели: vicuna, llama, falcon, etc
* Придумываем трюки, чтобы выкатывать большие модели на миллиарды юзеров

🗒 Вакансия
😺 Пишите мне @fursov

Призрачный атеншн 👻

😭 Проблема: LLM перестает слушаться системного промпта на втором и последующих сообщениях

🕺 Решение: Ghost Attention (GAtt). Идея из LLaMa-2.

Никакого механизма внимания на самом деле нет. Это трюк, который позволяет собрать multi-turn instruction датасет, где каждый ответ модели слушается системного промпта.

Шаг 1. Берем исходный multi-turn датасет
Шаг 2. К сообщениям юзеров джойним системный промпт (например, system prompt = "Always answer with emojis". Мы это сообщение вставляем в начало каждого запроса юзера)
Шаг 3. Генерим ответы на сообщения юзеров (они все будут намного лучше следовать инструкциям)
Шаг 4. Удаляем системный промпт из каждого сообщения юзера

Готово, вы получили multi-turn датасет, где ответы модели хорошо следуют системному промпту. Осталось дообучиться.

Speculative Decoding

Помните слив об устройстве GPT4? А именно "OpenAI may be using Speculative Decoding in a GPT-4 conference. (Not 100% sure)". Этот пост об этом

😂 Проблема: большая языковая модель очень медленно генерирует токены

Как ускорить? Квантизация, добавить гпу, перейти на тпу, попробовать новый инференс движок, самому что-то писать на куде. Сложно! Для ускорения нужен лишь простой советский...

😋 Решение: маленькая языковая модель, которая будет помогать генерировать токены, а большая будет валидировать, насколько эти токены хороши

Шаг 1. Маленькой моделью сгенерируем последовательность
Шаг 2. Сделаем 1 forward pass большой моделью, чтобы проверить, сгенерила ли бы она сама такую последовательность. По сути, сравниваем вероятности токенов для сэмплирования и сами токены, если у нас greedy decoding/beam search
Шаг 3. Вероятнее всего, сгенерированная последовательность облажается на i-ом токене, поэтому мы исправляем i-ый токен на тот, что предлагает большая модель, и запускаем заново Шаг 1.

Итого, мы сильно уменьшили количество forward pass-ов большой модели, поэтому ускорили генерацию в несколько раз. На практике придется очень тщательно подбирать эвристику перегенерации и валидации сгенерированной последовательности. Например, маленькой моделью можно сгенерировать не всю последовательность, а только 5 токенов, провалидировать большой и, например, продолжить большой. По сути, нужно подобрать трейдофф между качеством и скоростью.

Кстати, эта фича реализована в transformers

Блог пост huggingface
Статья от DeepMind
Статья от Google Research

🔍 Instruction Backtranslation

Помните трюк backtranslation, который мы когда-то применяли для аугментации данных на задачи machine translation, text classification, etc? Давайте использовать эту идею, чтобы намайнить больше данных для обучения инструктивных моделей.

⌨️ Проблема: мало данных, чтобы обучить хорошую инструктивную языковую модель. Например, не хватает данных, чтобы затюнить LLaMa

🥳 Решение: возьмем неразмеченные данные (ответы) и нагенерим для них инструкции. На полученных парах (instruction, output) дообучим LM.

Шаг 1. Возьмем небольшой (3к+ сэмплов), но очень качественный датасет инструкций (seed data). Обучим LLaMa по ответу генерировать инструкцию P(x|y)
Шаг 2. Для большого корпуса из ответов (500к текстов из интернета) генерируем соответсвующие инструкции. То есть пытаемся по ответам понять, какой был запрос.
Шаг 3. Фильтруем получившийся датасет, чтобы оставить только качественные данные. Для этого обучаем инструктивную модель M_0 на seed data и ей даем задачу оценить пару (instruction, output) по 5-ти балльной шкале
Шаг 4. Дообучаем M_0 на этих синтетических данных (с оценкой >= 5), получаем модель M_1
Шаг 5. Повторяем процесс фильтрации синтетических данных — фильтруем их с помощью M_1 и дообучаемся до M_2

Готово! Вы получили модель, которая работает лучше, чем LIMA (LLaMa, дообученная на несколько тысячах очень качественных данных). А самое главное — вы сами ничего не размечали, это сделала сама модель.

На практике, конечно, делать нужно не так. Фильтровать синтетические данные нужно самой лучшей моделью (GPT4 so far). Обучать обратную модель P(x|y) нужно на большем количестве данных, а не только на seed.

📎 Статья

🎰 Как еще ускорить инференс авторегрессионных языковых моделей?

Проблема, как обычно, в том, что нам приходится генерировать токены по-одному, а хочется за 1 forward pass 😁

🤵 Идея: будем генерировать несколько токенов за раз, поэтому ускорим генерацию всей последовательности в разы.

1️⃣ Дообучим языковую модель генерировать не следующий токен, а через следующий :) То есть next-next-token prediction. А если быть совсем точным, то обучаем сразу k моделей генерировать (i + j)-th токены
2️⃣ На i-ом шаге вызываем k дообученных моделей, получаем кандидатов длины (k + 1) на продолжение последовательности
3️⃣ Валидируем кандидатов с помощью исходной языковой модели. То есть за один forward pass батчом проверяем, сгенерировала бы модель эту последовательность сама
4️⃣ Обрезаем последовательность на j-ом шаге, если исходная модель не согласна с предсказанием, и запускаем шаг 2 опять

На практике не нужно дообучать всю языковую модель, — достаточно обучить k линейных слоев поверх последнего скрытого представления. Также, следует аккуратно подобрать количество топ-токенов, которые мы получаем каждой моделью, иначе шаг валидации может быть вычислительно сложный (очень большой размер батча)

На днях выпустили фреймворк Medusa, в котором провели эксперименты с Vicuna 7B, 13B и 33B. Top-1 accuracy для next-next-token prediction достигло 60% только за счет обучения одного линейного слоя, что очень круто.

Medusa ускорили генерацию в 2-3 раза, но их код пока не production-ready, поэтому теоретически можно еще быстрее.

📖 "Blockwise Parallel Decoding for Deep Autoregressive Models" Paper
📎 Medusa framework