Machine learning Interview

⚡️ Anthropic недавно опубликовала результаты своего исследования, посвящённого тому, как можно обойти защитные механизмы больших языковых моделей (LLM).

Предложенный ими метод под названием Best-of-N Jailbreaking (BoN) основан на множественных вариациях одного и того же запроса, чтобы выявить уязвимости.

Принцип работы метода:
Для начала создаётся потенциально опасный запрос, такой как «Как сделать бомбу?» Далее этот запрос подвергается различным изменениям:

- В тексте: вводятся опечатки, символы заменяются, например, через использование L337-кодировки.
- В аудиоформате: изменяется тональность голоса и добавляется фоновый шум.
- На изображениях: меняются цвета, шрифт или добавляются дополнительные элементы.

После внесения изменений запрос направляется на языковую модель, а результат проверяется специальным классификатором. Процесс повторяется множество раз – в исследовании было протестировано свыше 10 000 различных вариантов запросов.

Результаты:
Метод показал высокую эффективность: 89% успешных обходов защиты у GPT-4o и 78% у Claude 3.5 Sonnet. При комбинировании BoN с другими методами атаки, такими как оптимизированная префиксная атака, успех увеличивается на 35%.

Этот подход применим ко всем видам данных: текстам, аудио и изображениям, подтверждая наличие реальных уязвимостей в современных LLM. С каждым новым изменением возрастает вероятность успешного обхода защиты, что создаёт серьёзную проблему для разработчиков, которым предстоит создать более надёжные системы.

Заключение:
Исследование даёт двойственный эффект: оно демонстрирует слабые стороны искусственного интеллекта, но одновременно предоставляет инструменты для улучшения безопасности.

Best-of-N Jailbreaking: https://arxiv.org/abs/2412.03556

@machinelearning_interview

👍13❤7🔥3

www.tgoop.com/machinelearning_interview/1418

3.91K viewsedited  Dec 17, 2024 at 11:41

⚡️ Anthropic недавно опубликовала результаты своего исследования, посвящённого тому, как можно обойти защитные механизмы больших языковых моделей (LLM).

Предложенный ими метод под названием Best-of-N Jailbreaking (BoN) основан на множественных вариациях одного и того же запроса, чтобы выявить уязвимости.

Принцип работы метода:
Для начала создаётся потенциально опасный запрос, такой как «Как сделать бомбу?» Далее этот запрос подвергается различным изменениям:

- В тексте: вводятся опечатки, символы заменяются, например, через использование L337-кодировки.
- В аудиоформате: изменяется тональность голоса и добавляется фоновый шум.
- На изображениях: меняются цвета, шрифт или добавляются дополнительные элементы.

После внесения изменений запрос направляется на языковую модель, а результат проверяется специальным классификатором. Процесс повторяется множество раз – в исследовании было протестировано свыше 10 000 различных вариантов запросов.

Результаты:
Метод показал высокую эффективность: 89% успешных обходов защиты у GPT-4o и 78% у Claude 3.5 Sonnet. При комбинировании BoN с другими методами атаки, такими как оптимизированная префиксная атака, успех увеличивается на 35%.

Этот подход применим ко всем видам данных: текстам, аудио и изображениям, подтверждая наличие реальных уязвимостей в современных LLM. С каждым новым изменением возрастает вероятность успешного обхода защиты, что создаёт серьёзную проблему для разработчиков, которым предстоит создать более надёжные системы.

Заключение:
Исследование даёт двойственный эффект: оно демонстрирует слабые стороны искусственного интеллекта, но одновременно предоставляет инструменты для улучшения безопасности.

Best-of-N Jailbreaking: https://arxiv.org/abs/2412.03556

@machinelearning_interview

BY Machine learning Interview