Как уже упоминалось, не совсем понятно, почему авторы называют низкую энтропию «скрытностью»: все-таки, она позволяет защититься только от одного вида потенциальных детекторов джейлбрейков. Кроме того, из black-box-моделей тестировали только GPT-3.5 (предполагаю, что Claude, который приучен DAN-подобные джейлбрейки игнорировать, SEO-оптимизацией тоже не будет впечатлен, но на PaLM-2 взглянуть можно бы было). Если хочется иметь джейлбрейк для себя, то краткий GCG-суффикс (а то и soft-prompt) кажется более предпочтительным. С другой стороны, этот метод, кажется, вполне можно реализовать поверх llama-cpp и гонять у себя на калькуляторе 🍜.
В следующий раз мы посмотрим на статью, в которой исследуется не модели/API в изоляции, а чат-боты как приложения.
В следующий раз мы посмотрим на статью, в которой исследуется не модели/API в изоляции, а чат-боты как приложения.
MasterKey: Automated Jailbreak Across Multiple Large Language Model Chatbots
Deng et al., 2023
Статья, сайт
Сегодня у нас в программе статья класса «Я прочитал, чтобы вам не пришлось». Сейчас мы с вами узнаем, какие модели разрушают национальное единство, что общего у ERNIE и гигачата и причём тут SQL-инъекции.
Статья подана (и принята) на конференцию NDSS, и если вы о ней не слышали, то вы в этом не одиноки. В работе исследователи рассматривают атаки не только на конкретные white-box/black-box модели, но и на сервисы, которые могут иметь те или иные механизмы защиты.
Эти механизмы защиты могут быть самые разные и включать в себя как фильтрацию входа (пре-фильтрацию), так и разные способы пост-фильтрации. Чтобы понять, какой именно метод используется, исследователи предлагают воспользоваться опытом слепых SQL-инъекций, а именно слепых атак, основанных на времени. Представьте, что у вас есть возможность исполнять SQL-код на удалённой системе, но вы не можете прочитать вывод. Вы можете добавить в запрос клаузу IF и выполнить команду SLEEP на несколько секунд, чтобы, например, узнать версию сервера. Отследив время ответа сервера, вы можете получить ответ на свой вопрос.
Deng et al., 2023
Статья, сайт
Сегодня у нас в программе статья класса «Я прочитал, чтобы вам не пришлось». Сейчас мы с вами узнаем, какие модели разрушают национальное единство, что общего у ERNIE и гигачата и причём тут SQL-инъекции.
Статья подана (и принята) на конференцию NDSS, и если вы о ней не слышали, то вы в этом не одиноки. В работе исследователи рассматривают атаки не только на конкретные white-box/black-box модели, но и на сервисы, которые могут иметь те или иные механизмы защиты.
Эти механизмы защиты могут быть самые разные и включать в себя как фильтрацию входа (пре-фильтрацию), так и разные способы пост-фильтрации. Чтобы понять, какой именно метод используется, исследователи предлагают воспользоваться опытом слепых SQL-инъекций, а именно слепых атак, основанных на времени. Представьте, что у вас есть возможность исполнять SQL-код на удалённой системе, но вы не можете прочитать вывод. Вы можете добавить в запрос клаузу IF и выполнить команду SLEEP на несколько секунд, чтобы, например, узнать версию сервера. Отследив время ответа сервера, вы можете получить ответ на свой вопрос.
Исследователи прилагают довольно много усилий, делают тысячи запросов с просьбой сгенерировать у каждого из сервисов то иное количество токенов и делают захватывающий вывод, что время генерации зависит от длины сгенерированного текста. Затем они подмечают, также весьма глубоко, что если происходит фильтрация входа, то генерация должна быть мгновенной, потому что ее нет, а вот если работает пост-фильтрация, то генерация займет больше времени.
Чуть менее тривиальным является замечание, что пост-фильтрация может быть на основе машинлернинга (другой LLM, например), а может быть на основе ключевых слов, причем и та, и другая может быть потоковая (dynamic), чтобы после нарушения сразу приостанавливать генерацию и освобождать ресурсы. Во втором случае наличие такой фильтрации можно заметить, если попросить LLM сгенерировать запретное слово на n-ной позиции.
Исследователи проводят соответствующие тесты и выявляют, что Bard и Bing Chat имеют два типа пост-фильтрации (потоковые) и не имеют пре-фильтрации. В случае Bing Chat, которые теперь Microsoft Copilot, это не соответствует моим наблюдениям (просто посмотрите на трафик между фронтом и бэкендом и поймете, о чем я).
Чуть менее тривиальным является замечание, что пост-фильтрация может быть на основе машинлернинга (другой LLM, например), а может быть на основе ключевых слов, причем и та, и другая может быть потоковая (dynamic), чтобы после нарушения сразу приостанавливать генерацию и освобождать ресурсы. Во втором случае наличие такой фильтрации можно заметить, если попросить LLM сгенерировать запретное слово на n-ной позиции.
Исследователи проводят соответствующие тесты и выявляют, что Bard и Bing Chat имеют два типа пост-фильтрации (потоковые) и не имеют пре-фильтрации. В случае Bing Chat, которые теперь Microsoft Copilot, это не соответствует моим наблюдениям (просто посмотрите на трафик между фронтом и бэкендом и поймете, о чем я).
Исследователи не используют AdvBench, а составляют свой небольшой датасет. Для этого они исследуют правила пользования наиболее популярными чатботами (ChatGPT, Bard, Bing Chat, ERNIE) и выделяют 10 основных сценариев, которые запрещены в ToS. Не без оттенка гордости они отмечают, что только у Ernie (напомню, LLM-ка от Baidu) в политиках есть запрет на использование чабота в целях разрушения народного единства. 好！В то же время проверяется, соблюдают ли чатботы свои же правила (спойлер: ERNIE - соблюдает, глупый лаовай говорящий машины - не очень).
Кроме заботы о единстве, как наблюдают исследователи, ERNIE также блокирует тех, кто слишком упорно пытается его джейлбрейкнуть, поэтому полные эксперименты на нем не проводятся. Кажется, где-то мы это видели 😉.
Кроме заботы о единстве, как наблюдают исследователи, ERNIE также блокирует тех, кто слишком упорно пытается его джейлбрейкнуть, поэтому полные эксперименты на нем не проводятся. Кажется, где-то мы это видели 😉.
Далее авторы достают древний джейлбрейк имени Никколо Макиавелли (AIM), в соответствии со своим пониманием о наличии фильтрации в чатботах добавляют туда немного обфускации (добавление пробелов между буквами), говорят, что, мол, самим такое писать лень, достают простой советский СЕРВЕР НА 8xA100 И НАЧИНАЮТ АДОВО ЖАРИТЬ VICUNA-13b. Усредненный рецепт в их случае включает полный continuous pretraining (???) на выполненных ChatGPT парафаразах джейлбрейков, файнтюнинг на парах джейбрейк -> парафраз и даже reward-ranked finetuning, от которого у всех чатботов элайнмент сам отклеивается. Шутки шутками, а утверждается (на сайте), что делают они это, запуская с дефолтными параметрами скрипты из LMFlow.
В итоге после всех этих издевательств из Vicuna получается MasterKey, которая, насколько я смог понять из текста, получает на вход затравку с джейлбрейков и порождает парафраз, и среднее 10 парафразов у MasterKey выше по эффективности (Attack Success Rate), чем у всяких чатгпт, причем в десятки раз.
В итоге после всех этих издевательств из Vicuna получается MasterKey, которая, насколько я смог понять из текста, получает на вход затравку с джейлбрейков и порождает парафраз, и среднее 10 парафразов у MasterKey выше по эффективности (Attack Success Rate), чем у всяких чатгпт, причем в десятки раз.
В конце приводятся абляции (нужны ли те или иные шаги обучения, вывод - нужны все), и даже небольшой эксперимент над ERNIE, в котором они переводят 20 джейлбрейков и 20 вопросов на китайский и получают 6% успеха взлома китайского чатбота, что кажется достаточно маленьким падением качества по сравнению с оригиналом. Интересно, конечно, как был переведен на китайский с его иероглифами
Вот и все. Предположу, что причина невероятной эффективности MasterKey в том, что LLM буквально заставили каждый раз выводить кусочек с контрабандой токенов, а другие чатботы при парафразе могли эти требования терять, так как именно для чатботов с пост-фильтрацией его эффективность оказывалась выше. Тем не менее, сказать наверняка нельзя, так как по этическим соображениям (разумеется) ни кода, ни датасетов нет. Зато есть статья на Vice, из которой я узнал об этой папире и в которой, если вам показалось мало, вы можете прочитать еще один ее обзор.
t o k e n s m u g g l i n g.Вот и все. Предположу, что причина невероятной эффективности MasterKey в том, что LLM буквально заставили каждый раз выводить кусочек с контрабандой токенов, а другие чатботы при парафразе могли эти требования терять, так как именно для чатботов с пост-фильтрацией его эффективность оказывалась выше. Тем не менее, сказать наверняка нельзя, так как по этическим соображениям (разумеется) ни кода, ни датасетов нет. Зато есть статья на Vice, из которой я узнал об этой папире и в которой, если вам показалось мало, вы можете прочитать еще один ее обзор.
Vice
This AI Chatbot is Trained to Jailbreak Other Chatbots
Researchers used an open-source tool to generate malicious prompts that evade content filters in ChatGPT, Bard, and Bing Chat.
Jailbreaking ChatGPT via Prompt Engineering: An Empirical Study
Liu et al., 2023
Статья, сайт
Статья очень лайтовая и посвящена эмпирическому анализу и попытке построить семантическую таксономию джейлбрейков. Авторы собирают датасет джейлбрейков (если быть точным, тупо парсят собранную до них коллекцию с Jailbreakchat), затем разрабатывают рубрикатор (если быть точным, тупо берут таксономию с сайта LearnPrompting и немного дорабатывают) и раскатегоризовывают джейлбрейки по пересекающимся категориям.
Среди таких категорий оказываются:
1. Гипотетический сценарий:
1.a. Ролевая игра
1.b. Перенос ответственности
1.c. Научный эксперимент
2. Сдвиг внимания:
2.a. Продолжение текста
2.b. Логические заключения
2.c. Выполнение программы
2.d. Перевод
3. Повышение привилегий:
3.a. Имитация более мощной модели
3.b. Режим привилегированного пользователя
3.c. Симуляция джейлбрейка
Почему перенос ответственности оказался в гипотетических сценариях – на совести авторов. Категоризация по причинам из (Wei et al., 2023) мне нравится больше. Проценты – на скриншоте.
Liu et al., 2023
Статья, сайт
Статья очень лайтовая и посвящена эмпирическому анализу и попытке построить семантическую таксономию джейлбрейков. Авторы собирают датасет джейлбрейков (если быть точным, тупо парсят собранную до них коллекцию с Jailbreakchat), затем разрабатывают рубрикатор (если быть точным, тупо берут таксономию с сайта LearnPrompting и немного дорабатывают) и раскатегоризовывают джейлбрейки по пересекающимся категориям.
Среди таких категорий оказываются:
1. Гипотетический сценарий:
1.a. Ролевая игра
1.b. Перенос ответственности
1.c. Научный эксперимент
2. Сдвиг внимания:
2.a. Продолжение текста
2.b. Логические заключения
2.c. Выполнение программы
2.d. Перевод
3. Повышение привилегий:
3.a. Имитация более мощной модели
3.b. Режим привилегированного пользователя
3.c. Симуляция джейлбрейка
Почему перенос ответственности оказался в гипотетических сценариях – на совести авторов. Категоризация по причинам из (Wei et al., 2023) мне нравится больше. Проценты – на скриншоте.
После этого они читают пользовательское соглашение OpenAI и определяют категории (в количестве 8) запрещенных сценариев (на этот раз без угроз национальному единству). На каждую из них они придумывают по пять промптов, которые их нарушают, после чего делают для каждого запрос в сочетании с 78 джейлбрейками к двум моделям (gpt-3.5-turbo и gpt-4, не ChatGPT, как можно бы было подумать из заголовка статьи), после чего производится ручная разметка на предмет того, сработал ли джейлбрейк. OpenAI получает 402 доллара и 21 цент, все разметчики – сессию с психологом, а мы – роскошную таблицу, из которой следует, что джейлбрейки, где в фабуле симуляция джейлбрейка и режим привилегированного пользователя, работают эффективнее всех.
Затем делается еще несколько измерений и выводов из них (GPT-4 меньше подвержену джейлбрейку, чем GPT-3.5-turbo, некоторые категории джейлбрейков, в частности научный эксперимент и симуляция, более стабильно работают, чем другие), после чего приводятся тюремные сроки за запрещенное порно и нелегальное инвестиционное консультирование по американскому праву (а потому что почему бы и не привести?). Я вот тоже не поленился и для вас заскриншотил 😘
Глупая привычка – не обращать внимание на имена авторов статей (особенно если они китайские, потому что статей типа Liu et al. гораздо больше, чем можно прочитать за жизнь и пытаться их запомнить совершенно бессмысленно). Читая сегодняшнюю статью, я нашел многочисленные стилистические сходства с MasterKey, на которую мы смотрели в прошлый раз (а также аналогичные сфокусированность на одной теме и глубину подхода). И действительно, эти статьи имеют не меньше пяти общих авторов.
В следующий раз посмотрим на кое-что более хардкорное и теоретическое (и, надеюсь, интересное).
Глупая привычка – не обращать внимание на имена авторов статей (особенно если они китайские, потому что статей типа Liu et al. гораздо больше, чем можно прочитать за жизнь и пытаться их запомнить совершенно бессмысленно). Читая сегодняшнюю статью, я нашел многочисленные стилистические сходства с MasterKey, на которую мы смотрели в прошлый раз (а также аналогичные сфокусированность на одной теме и глубину подхода). И действительно, эти статьи имеют не меньше пяти общих авторов.
В следующий раз посмотрим на кое-что более хардкорное и теоретическое (и, надеюсь, интересное).
Jailbreaking Black Box Large Language Models in Twenty Queries
Patrick Chao et al., 2023
Статья, сайт, код
Зачем нужны языковые модели, если с их помощью нельзя взламывать другие языковые модели? Так подумали исследователи из Университета Пенсильвании и создали свой метод автоматического джейлбрейкинга для black-box-моделей, который они назвали Prompt Automatic Iterative Refinement, или PAIR.
Для начала исследователи вводят свою категоризацию джейлбрейков:
1. Token-level-джейлбрейки: когда мы, как и положено людям в общении с тупыми железками, генерируем набор токенов, например, с помощью градиентных атак, и получаем набор невнятного мусора типа
2. Prompt-level-джейлбрейки: когда кожаные мешки ставят совершенную машину с собой на одну ступень и пытаются ее обмануть всякими DAN, AIM, Developer Mode и так далее. Из недостатков – для их создания нужно думать, что для кожаного мешка всегда минус.
Заключая, что хочется автоматически, как в первом типе, но красиво, как во втором, авторы предлагают использовать для джейлбрейка LLM такую же LLM, итеративно улучшая атаку. Так и получается PAIR.
Patrick Chao et al., 2023
Статья, сайт, код
Зачем нужны языковые модели, если с их помощью нельзя взламывать другие языковые модели? Так подумали исследователи из Университета Пенсильвании и создали свой метод автоматического джейлбрейкинга для black-box-моделей, который они назвали Prompt Automatic Iterative Refinement, или PAIR.
Для начала исследователи вводят свою категоризацию джейлбрейков:
1. Token-level-джейлбрейки: когда мы, как и положено людям в общении с тупыми железками, генерируем набор токенов, например, с помощью градиентных атак, и получаем набор невнятного мусора типа
.](Me giving////one please? revert with \"!—Two в GCG. Подчеркивается, что они требуют больших вычислительных ресурсов и выглядят непонятно (хотя мне непонятно, почему это недостаток).2. Prompt-level-джейлбрейки: когда кожаные мешки ставят совершенную машину с собой на одну ступень и пытаются ее обмануть всякими DAN, AIM, Developer Mode и так далее. Из недостатков – для их создания нужно думать, что для кожаного мешка всегда минус.
Заключая, что хочется автоматически, как в первом типе, но красиво, как во втором, авторы предлагают использовать для джейлбрейка LLM такую же LLM, итеративно улучшая атаку. Так и получается PAIR.
Вводя некоторое количество ненужных формальных обозначений, авторы формулируют свой алгоритм так:
1. Берем одну LLM и называем ее целевой. Ее мы будем ломать. Вторая LLM (потенциально та же самая) называется атакующей. Берем третью LLM – опять же, можно ту же самую – и называем ее судьей.
2. Атакующая модель генерирует потенциального jailbreak-кандидата для конкретного сценария (взлом, взрыв, наркотики, уничтожение человечества, ну вы поняли).
3. Этот кандидат передается в целевую LLM, которая возвращает ответ.
4. Судья получает на вход джейлбрейк, ответ целевой LLM и сообщает, получился ли джейлбрейк. Если нет, то дает некоторую оценку попытке.
5. Если не получилось – не беда, отправляем джейлбрейк, ответ и оценку судьи в атакующую LLM.
1. Берем одну LLM и называем ее целевой. Ее мы будем ломать. Вторая LLM (потенциально та же самая) называется атакующей. Берем третью LLM – опять же, можно ту же самую – и называем ее судьей.
2. Атакующая модель генерирует потенциального jailbreak-кандидата для конкретного сценария (взлом, взрыв, наркотики, уничтожение человечества, ну вы поняли).
3. Этот кандидат передается в целевую LLM, которая возвращает ответ.
4. Судья получает на вход джейлбрейк, ответ целевой LLM и сообщает, получился ли джейлбрейк. Если нет, то дает некоторую оценку попытке.
5. Если не получилось – не беда, отправляем джейлбрейк, ответ и оценку судьи в атакующую LLM.
Есть несколько нюансов. Во-первых, контекст атакующей модели сохраняется от итерации к итерации, в то время как целевая модель получает каждого кандидата после очистки контекста. Во-вторых, для генерации кандидатов после неудачной попытки используется паттерн chain-of-thought: перед генерацией следующего кандидата мы сначала генерируем план улучшений на основе оценки от судьи, а уже потом самого кандидата. В-третьих, поиск делается в несколько потоков (20), чтобы потом заявить, что «мы находим джейлбрейк меньше, чем за минуту» 😎. Наконец, в system prompt атакующей модели добавляются примеры, потому что few shot обычно лучше, чем без шотов вовсе.
В экспериментах в качестве атакующей LLM берется Vicuna-13B-v1.5. Пробуют также Llama-2, которая отказывается помогать, и gpt-3.5, которая, как отмечается работает чуть хуже, чем викунья.
В качестве датасета используется AdvBench, но тут исследователи решили посмотреть на данные руками и сократили его до полезного сабсета из 50 примеров. В итоге получается целиком сломать Vicuna (которая вроде как не сильно обычно сопротивляется), для 31 и 36 сценариев сломать GPT-4 и PaLM-2, сломать Claude получается плохо (он и вручную не очень-то ломается если честно).
В экспериментах в качестве атакующей LLM берется Vicuna-13B-v1.5. Пробуют также Llama-2, которая отказывается помогать, и gpt-3.5, которая, как отмечается работает чуть хуже, чем викунья.
В качестве датасета используется AdvBench, но тут исследователи решили посмотреть на данные руками и сократили его до полезного сабсета из 50 примеров. В итоге получается целиком сломать Vicuna (которая вроде как не сильно обычно сопротивляется), для 31 и 36 сценариев сломать GPT-4 и PaLM-2, сломать Claude получается плохо (он и вручную не очень-то ломается если честно).
В целом, получается достаточно интересно. Есть некоторое ощущение, будто просто перебор вариантов в 20 потоков и без архитектурных хитростей должен работать неплохо, но в абляциях видно, что few-shot и CoT ускоряют и улучшают процесс подбора джейлбрейка. Из минусов – эти джейлбрейки, в отличие от GCG, плохо трансферятся. Статья подавалась на ICLR 2024, но была по классике отклонена из-за простоты метода (ну, зато получили статью на VentureBeat). Еще из интересного – в приложении есть совершенно монструозный system prompt для атакующей LLM, небольшой шедевр промт-инженерии.
Tree of Attacks: Jailbreaking Black-Box LLMs Automatically
Mehrotra et al., 2023
Статья, блог
Сегодня мы кратко рассмотрим еще один один метод автоматического джейлбрейка black-box-моделей от исследователей из Йеля и Robust Intelligence под названием Tree of attacks with pruning, или TAP. Исследователи ставят перед собой цель сделать алгоритм, который будет работать без участия человека, позволит атаковать black box-модели и будет давать семантически интерпретируемые джейлбрейки. Как обычно, почему последнее настолько важно не уточняется; кроме того, кажется, что, используя подход, когда одна LLM ломает другую, по-другому сделать попросту не получится, поэтому это не предпосылка, а скорее следствие предложенного подхода. Тем не менее, получилось достаточно интересно, так что поехали🔪
Mehrotra et al., 2023
Статья, блог
Сегодня мы кратко рассмотрим еще один один метод автоматического джейлбрейка black-box-моделей от исследователей из Йеля и Robust Intelligence под названием Tree of attacks with pruning, или TAP. Исследователи ставят перед собой цель сделать алгоритм, который будет работать без участия человека, позволит атаковать black box-модели и будет давать семантически интерпретируемые джейлбрейки. Как обычно, почему последнее настолько важно не уточняется; кроме того, кажется, что, используя подход, когда одна LLM ломает другую, по-другому сделать попросту не получится, поэтому это не предпосылка, а скорее следствие предложенного подхода. Тем не менее, получилось достаточно интересно, так что поехали
Please open Telegram to view this post
VIEW IN TELEGRAM
Метод не отличается сложностью. Как мы видели в статье про джейлбрейк за двадцать запросов, для джейлбрейка black box-языковой модели, т.е. модели, доступа к весам которой у нас нет, достаточно использовать другую LLM, которая будет генерировать джейлбрейк-кандидаты, получать ответ от атакуемой сети и оценку попытки от LLM-оценщика и итеративно улучшать свой подход.
Мы можем использовать Chain-of-Thought-подход (CoT), при котором мы просим атакующую LLM сначала предоставить свои «мысли» по улучшению джейлбрейка, а уже потом его сгенерировать. У CoT есть известные улучшения: Chain-of-Thought with Self-Consistency и Tree-of-Thoughts (ToT). В случае ToT мы вместо одной «мысли» генерируем несколько «идей», каждая из которых становится независимым продолжением беседы. LLM также оценивает идеи и подрезает те ветви, которые кажутся наименее перспективными. Именно ToT используется в статье.
Мы можем использовать Chain-of-Thought-подход (CoT), при котором мы просим атакующую LLM сначала предоставить свои «мысли» по улучшению джейлбрейка, а уже потом его сгенерировать. У CoT есть известные улучшения: Chain-of-Thought with Self-Consistency и Tree-of-Thoughts (ToT). В случае ToT мы вместо одной «мысли» генерируем несколько «идей», каждая из которых становится независимым продолжением беседы. LLM также оценивает идеи и подрезает те ветви, которые кажутся наименее перспективными. Именно ToT используется в статье.