llm security и каланы

Рассматривая то, как их коллеги в статьях применяют LLM для поиска уязвимостей, исследователи из Project Zero отметили, что используемые подходы не соответствуют их собственному человеческому опыту поиска уязвимостей. Попытавшись переложить этот опыт на LLM, они предложили следующий набор принципов:

1. Пространство для промежуточных размышлений. Использование chain-of-thought и других методов извлечения из LLM «мыслительного процесса» перед получением стандартного аутпута – стандартный трюк для улучшения результатов решения разных задач, и для поиска уязвимостей, как оказалось, это тоже полезно.
2. Интерактивное окружение. Наличие возможности активно взаимодействовать с инструментами и получать фидбек, чтобы, например, немного исправить подход если найти уязвимость почти получилось, сильно упрощает исследование.
3. Специализированные инструменты. Без возможности писать скрипты и использовать специальные инструменты вроде отладчика заниматься поиском уязвимостей сложно и человеку – почему тогда LLM должны обходиться без них? Однако эти инструменты должны иметь достаточно простой интерфейс, чтобы LLM могли ими пользоваться.
4. Четкая верификация. Задачи по поиску уязвимостей должны быть устроены так, чтобы быть на 100% точно верифицируемы автоматизированно, что необходимо для надежности и репродуцируемости бенчмарков.
5. Стратегия сэмплирования. При решении задачи у исследователя может возникнуть несколько гипотез. Как выясняется, LLM не может исследовать несколько гипотез в один присест, поэтому нужен правильный подход для генерации таких гипотез и исследования их в рамках отдельных попыток.

www.promptingguide.ai

Chain-of-Thought Prompting | Prompt Engineering Guide

A Comprehensive Overview of Prompt Engineering

www.tgoop.com/llmsecurity/265

183 viewsAug 19, 2024 at 08:25

Рассматривая то, как их коллеги в статьях применяют LLM для поиска уязвимостей, исследователи из Project Zero отметили, что используемые подходы не соответствуют их собственному человеческому опыту поиска уязвимостей. Попытавшись переложить этот опыт на LLM, они предложили следующий набор принципов:

1. Пространство для промежуточных размышлений. Использование chain-of-thought и других методов извлечения из LLM «мыслительного процесса» перед получением стандартного аутпута – стандартный трюк для улучшения результатов решения разных задач, и для поиска уязвимостей, как оказалось, это тоже полезно.
2. Интерактивное окружение. Наличие возможности активно взаимодействовать с инструментами и получать фидбек, чтобы, например, немного исправить подход если найти уязвимость почти получилось, сильно упрощает исследование.
3. Специализированные инструменты. Без возможности писать скрипты и использовать специальные инструменты вроде отладчика заниматься поиском уязвимостей сложно и человеку – почему тогда LLM должны обходиться без них? Однако эти инструменты должны иметь достаточно простой интерфейс, чтобы LLM могли ими пользоваться.
4. Четкая верификация. Задачи по поиску уязвимостей должны быть устроены так, чтобы быть на 100% точно верифицируемы автоматизированно, что необходимо для надежности и репродуцируемости бенчмарков.
5. Стратегия сэмплирования. При решении задачи у исследователя может возникнуть несколько гипотез. Как выясняется, LLM не может исследовать несколько гипотез в один присест, поэтому нужен правильный подход для генерации таких гипотез и исследования их в рамках отдельных попыток.

BY llm security и каланы