Neural Networks | Нейронные сети

Forwarded from AI VK Hub

Всем привет. Подготовили краткий обзор статьи про странности LLM при простых запросах.

Существует два широко известных эффекта в мире LLM.

🔸Один из них – воронка внимания (attention sink): эффект, при котором первый токен в последовательности получает «большее внимание» (значение функции активации), чем остальные. Причём это проявляется не только на первом слое трансформерной архитектуры.
🔸Другой эффект – странное поведение языковых моделей на последовательностях с повторяющимися токенами или на задачах, в которых LLM просят просто повторить заданное слово. В таких случаях модель часто выдаёт странный ответ или раскрывает часть обучающей выборки. Последнее может быть критичным с точки зрения конфиденциальности.

В своей работе авторы показывают, что оба данных эффекта тесно взаимосвязаны: плохо предсказуемое поведение LLM на последовательностях с повторяющимися токенами возникает по тем же причинам, что и воронка внимания.

Детали

Авторы эмпирически исследуют активации нейронной сети для последовательностей с повторяющимися токенами и первого токена в обычных предложениях. Из численных экспериментов делают вывод о том, что эти паттерны похожи, поэтому механизм, в целом, одинаковый. Свой вывод они подтверждают теоремой, которая говорит, что эмбеддинги последовательности, в которой этот токен повторяется n раз, стремится к представлению одиночного токена при n, стремящемся к бесконечности.

Помимо этого, авторы предлагают патч, который позволяет нормализовать работу LLM на последовательностях с повторяющимися токенами. Главным достоинством данного патча является то, что он не сильно портит результаты модели на других задачах. Последнее подтверждается численными экспериментами: метрики упали не более чем на 3%, а в некоторых случаях даже возросли.

Результаты

Основных результата два:
🔸воронка внимания – одна из ключевых причин аномалий при обработке последовательностей с повторяющимися токенами;
🔸патч, который частично решает проблему без существенного проседания метрик на других задачах.

Важно, что, по мнению авторов, они первые в мире, кто это осознал и опубликовал вышеупонятую связь.

Авторы статьи заявляют, что предложенный ими метод впервые позволил частично расшифровать внутренние механизмы работы больших языковых моделей (LLM), благодаря чему была выявлена взаимосвязь между двумя ключевыми паттернами функционирования LLM.

Они подчеркивают важность интерпретируемости и планируют дальше развивать свою работу в этом направлении.

🔹Что думаете по поводу работы? Сталкивались ли вы с похожими эффектами? С какими аномалиями в работе с LLM вы сталкивались?

Предыдущие обзоры статей с ICML от команды AI VK:

🔸Высокопроизводительные трансформеры на базе MatMuls;
🔸Проблемы оценки качества наборов данных для графового машинного обучения;
🔸Метод HSPI — определение железа и ПО по поведению ML-модели.


#ICML #обзорстатьи

Please open Telegram to view this post

VIEW IN TELEGRAM

www.tgoop.com/neural/10080

1K viewsJul 17 at 08:30

Всем привет. Подготовили краткий обзор статьи про странности LLM при простых запросах.

Существует два широко известных эффекта в мире LLM.

🔸Один из них – воронка внимания (attention sink): эффект, при котором первый токен в последовательности получает «большее внимание» (значение функции активации), чем остальные. Причём это проявляется не только на первом слое трансформерной архитектуры.
🔸Другой эффект – странное поведение языковых моделей на последовательностях с повторяющимися токенами или на задачах, в которых LLM просят просто повторить заданное слово. В таких случаях модель часто выдаёт странный ответ или раскрывает часть обучающей выборки. Последнее может быть критичным с точки зрения конфиденциальности.

В своей работе авторы показывают, что оба данных эффекта тесно взаимосвязаны: плохо предсказуемое поведение LLM на последовательностях с повторяющимися токенами возникает по тем же причинам, что и воронка внимания.

Детали

Авторы эмпирически исследуют активации нейронной сети для последовательностей с повторяющимися токенами и первого токена в обычных предложениях. Из численных экспериментов делают вывод о том, что эти паттерны похожи, поэтому механизм, в целом, одинаковый. Свой вывод они подтверждают теоремой, которая говорит, что эмбеддинги последовательности, в которой этот токен повторяется n раз, стремится к представлению одиночного токена при n, стремящемся к бесконечности.

Помимо этого, авторы предлагают патч, который позволяет нормализовать работу LLM на последовательностях с повторяющимися токенами. Главным достоинством данного патча является то, что он не сильно портит результаты модели на других задачах. Последнее подтверждается численными экспериментами: метрики упали не более чем на 3%, а в некоторых случаях даже возросли.

Результаты

Основных результата два:
🔸воронка внимания – одна из ключевых причин аномалий при обработке последовательностей с повторяющимися токенами;
🔸патч, который частично решает проблему без существенного проседания метрик на других задачах.

Важно, что, по мнению авторов, они первые в мире, кто это осознал и опубликовал вышеупонятую связь.

Авторы статьи заявляют, что предложенный ими метод впервые позволил частично расшифровать внутренние механизмы работы больших языковых моделей (LLM), благодаря чему была выявлена взаимосвязь между двумя ключевыми паттернами функционирования LLM.

Они подчеркивают важность интерпретируемости и планируют дальше развивать свою работу в этом направлении.

🔹Что думаете по поводу работы? Сталкивались ли вы с похожими эффектами? С какими аномалиями в работе с LLM вы сталкивались?

Предыдущие обзоры статей с ICML от команды AI VK:

🔸Высокопроизводительные трансформеры на базе MatMuls;
🔸Проблемы оценки качества наборов данных для графового машинного обучения;
🔸Метод HSPI — определение железа и ПО по поведению ML-модели.


#ICML #обзорстатьи