Библиотека хакера | Hacking, Infosec, ИБ, информационная безопасность

🦾 Инструмент недели: Garak

Generative AI Red-teaming & Assessment Kit — фреймворк для поиска уязвимостей в больших языковых моделях и чат-системах.

➕ По сути, это «сканер» для LLM, который позволяет проверить, как легко модель поддаётся:

— prompt injection и jailbreak-атакам;
— утечке данных из контекста;
— генерации токсичного или вводящего в заблуждение контента;
— воспроизведению тренировочных данных.

Как устроен:

🅰️ Probes — набор сценариев атак (вопросы-ловушки, трюки с кодировкой, обход ограничений).

🅰️ Detectors — модули, которые анализируют ответы и фиксируют сбои.

🅰️ Reports — логи и сводка, показывающая, где модель “сломалась”.

⚡️ Фишка Garak — модульность. Можно проверять OpenAI, Hugging Face, локальные модели или API-сервисы. Подходит для ред-тиминга, security-оценок и проверки кастомных LLM.

📎 GitHub

🐸 Библиотека хакера

#tool_of_the_week

Please open Telegram to view this post

VIEW IN TELEGRAM

👍2🔥1

www.tgoop.com/hackproglib/4682

893 viewsOct 7 at 07:02

🦾 Инструмент недели: Garak

Generative AI Red-teaming & Assessment Kit — фреймворк для поиска уязвимостей в больших языковых моделях и чат-системах.

➕ По сути, это «сканер» для LLM, который позволяет проверить, как легко модель поддаётся:

— prompt injection и jailbreak-атакам;
— утечке данных из контекста;
— генерации токсичного или вводящего в заблуждение контента;
— воспроизведению тренировочных данных.

Как устроен:

🅰️ Probes — набор сценариев атак (вопросы-ловушки, трюки с кодировкой, обход ограничений).

🅰️ Detectors — модули, которые анализируют ответы и фиксируют сбои.

🅰️ Reports — логи и сводка, показывающая, где модель “сломалась”.

⚡️ Фишка Garak — модульность. Можно проверять OpenAI, Hugging Face, локальные модели или API-сервисы. Подходит для ред-тиминга, security-оценок и проверки кастомных LLM.

📎 GitHub

🐸 Библиотека хакера

#tool_of_the_week