llm security и каланы

Результатом реализации этих принципов и становится Project Naptime – агентная архитектура для поиска уязвимостей в кодовой базе на основе LLM. Для более правдоподобной имитации человека-исследователя, Naptime имеет доступ к разным инструментам:

1. Code Browser – позволяет осуществлять поиск по коду и показывать, где есть ссылки на функции или другие сущности.
2. Интерпретатор Python – позволяет проводить точные вычисления и генерировать входные данные для исследуемых программ.
3. Отладчик – позволяет устанавливать точки останова и изучать состояние программы при разных входах.
4. Reporter – дает возможность сообщать о результатах, например, о том, что удалось добиться падения программы.

По мнению исследователей, это более честный подход, чем давать модели целиком файл с исходным кодом и ожидать от нее выдать один ответ со строкой, которая заставит программу упасть.

www.tgoop.com/llmsecurity/266

178 viewsAug 19, 2024 at 08:25

Результатом реализации этих принципов и становится Project Naptime – агентная архитектура для поиска уязвимостей в кодовой базе на основе LLM. Для более правдоподобной имитации человека-исследователя, Naptime имеет доступ к разным инструментам:

1. Code Browser – позволяет осуществлять поиск по коду и показывать, где есть ссылки на функции или другие сущности.
2. Интерпретатор Python – позволяет проводить точные вычисления и генерировать входные данные для исследуемых программ.
3. Отладчик – позволяет устанавливать точки останова и изучать состояние программы при разных входах.
4. Reporter – дает возможность сообщать о результатах, например, о том, что удалось добиться падения программы.

По мнению исследователей, это более честный подход, чем давать модели целиком файл с исходным кодом и ожидать от нее выдать один ответ со строкой, которая заставит программу упасть.

BY llm security и каланы