llm security и каланы

Достаточно интересная идея, источник которой я уже не вспомню: изначально базовая модель выучивает из текстов огромное количество латентных знаний и навыков, но они спрятаны среди способности модели генерировать наизусть куски из текстов песен и воспоминаний о форчановских гринтекстах. Фаза элайнмента позволяет так пошатать распределения, чтобы на первый план вышли полезные умения и другие нужные ассистенту качества (не отказываться от ответов и не предлагать изготавливать взрывчатку). Статья, особенно ее SL-часть, показывает один из способов дешево (относительно) вытащить из модели те качества, которые нужны. При этом понятно, что helpful-only модель может и делать ревизии в обратную сторону, т.е. генерировать максимально вредные ответы на простые запросы (как в истории с поиском ядов, только непонятно, зачем это тут нужно), и использоваться для добавления идеологических предпочтений. С другой стороны, она демонстрирует, как с помощью естественного языка можно не просто решать задачи, но и в таких доменах, как безопасность, генерировать данные, которые позволяют обучать модели с результатами лучшими, чем на данных, созданных людьми – очень хорошие новости для автоматизированного ИИ-пентеста и ред-тиминга.

The Verge

AI suggested 40,000 new possible chemical weapons in just six hours

It’s apparently not that hard to design poisons using AI.

www.tgoop.com/llmsecurity/364

303 viewsNov 14, 2024 at 22:04

Достаточно интересная идея, источник которой я уже не вспомню: изначально базовая модель выучивает из текстов огромное количество латентных знаний и навыков, но они спрятаны среди способности модели генерировать наизусть куски из текстов песен и воспоминаний о форчановских гринтекстах. Фаза элайнмента позволяет так пошатать распределения, чтобы на первый план вышли полезные умения и другие нужные ассистенту качества (не отказываться от ответов и не предлагать изготавливать взрывчатку). Статья, особенно ее SL-часть, показывает один из способов дешево (относительно) вытащить из модели те качества, которые нужны. При этом понятно, что helpful-only модель может и делать ревизии в обратную сторону, т.е. генерировать максимально вредные ответы на простые запросы (как в истории с поиском ядов, только непонятно, зачем это тут нужно), и использоваться для добавления идеологических предпочтений. С другой стороны, она демонстрирует, как с помощью естественного языка можно не просто решать задачи, но и в таких доменах, как безопасность, генерировать данные, которые позволяют обучать модели с результатами лучшими, чем на данных, созданных людьми – очень хорошие новости для автоматизированного ИИ-пентеста и ред-тиминга.

BY llm security и каланы