llm security и каланы

Остальные примеры описаны кратко:

1. Разработка кем-то из, как утверждается, Великобритании сложного RaaS с консолью и разными свистелками и продажа его за 400-1200 долларов на хакерских форумах. Этот кто-то демонстрировал низкий уровень технической подготовки, но активно его маркетировал. О том, удалось ли кого-то успешно заразить, история умалчивает.
2. Некоторый называемый китайским трет-эктор применял Claude для атак на «критическую инфраструктуру Вьетнама». LLM применялась для исполнения техник из 12 (из 14) тактик MITRE ATT&CK.
3. Называемый северокорейским киберактор использовал Claude для помощи в атаках на разработчиков через фейковые интервью, применяя его в сценариях от создания фальшивых LinkedIn-профилей до упаковки малвари в NPM-пакеты.
4. Некоторый «говорящий на русском и английском» спец с глубокими познаниями в Windows internals, ассемблере и современных методах кибератак лил все эти свои познания в Claude, чтобы тот предоставлял ему техническую реализацию, которая уже через два часа после сессий с Claude всплывала на вирустотале. Что любопытно, исследователи обнаружили его с помощью своей privacy-preserving-аналитической тулы Clio, что вызывает некоторые вопросы о том, что такое privacy-preserving 🙃
5. Также описываются несколько фрод-кейсов: MCP для профилирования пользователей по слитым логам, обеспечение операционки кардеров и помощь в ведении горячих 🍆 диалогов в romance scams.

Отчет производит очень неоднозначное впечатление своим откровенно маркетинговым языком (AI transforms financial fraud operations by enabling sophisticated technical implementations – прочитав такое, прям хочется закупить токенов на Claude Code, если пример с корейцами вас не убедил). Кейсы (особенно связанные с полной автоматизацией целых стадий сложных целевых атак, а также активной помощью в эксплуатации/постэксплуатации и evasion) демонстрируют, что возможности фронтирных LLM в этой сфере растут. И если для простого пользователя мы имеем контроль с помощью privacy-preserving monitoring и constitutional classifiers, которые без специального промптинга зарубают даже относительно невинные сценарии, то для правительств продают «модели для обеспечения национальной безопасности» с «уменьшенным числом отказов» и «лучшим пониманием данных в сфере кибербезопасности». LLM вполне могут стать важным инструментом для разных трехбуквенных ведомств как в отражении атак, так и в их проведении – если, конечно, у них будет к ним доступ. Те, у кого не будет - будут сливать данные и TTP тем, у кого есть, причем в прямом эфире, или работать без ускорения, которое дают LLM.

Anthropic

Claude Gov models for U.S. national security customers

Anthropic is an AI safety and research company that's working to build reliable, interpretable, and steerable AI systems.

www.tgoop.com/llmsecurity/618

593 viewsedited  Aug 31 at 11:02

Остальные примеры описаны кратко:

1. Разработка кем-то из, как утверждается, Великобритании сложного RaaS с консолью и разными свистелками и продажа его за 400-1200 долларов на хакерских форумах. Этот кто-то демонстрировал низкий уровень технической подготовки, но активно его маркетировал. О том, удалось ли кого-то успешно заразить, история умалчивает.
2. Некоторый называемый китайским трет-эктор применял Claude для атак на «критическую инфраструктуру Вьетнама». LLM применялась для исполнения техник из 12 (из 14) тактик MITRE ATT&CK.
3. Называемый северокорейским киберактор использовал Claude для помощи в атаках на разработчиков через фейковые интервью, применяя его в сценариях от создания фальшивых LinkedIn-профилей до упаковки малвари в NPM-пакеты.
4. Некоторый «говорящий на русском и английском» спец с глубокими познаниями в Windows internals, ассемблере и современных методах кибератак лил все эти свои познания в Claude, чтобы тот предоставлял ему техническую реализацию, которая уже через два часа после сессий с Claude всплывала на вирустотале. Что любопытно, исследователи обнаружили его с помощью своей privacy-preserving-аналитической тулы Clio, что вызывает некоторые вопросы о том, что такое privacy-preserving 🙃
5. Также описываются несколько фрод-кейсов: MCP для профилирования пользователей по слитым логам, обеспечение операционки кардеров и помощь в ведении горячих 🍆 диалогов в romance scams.

Отчет производит очень неоднозначное впечатление своим откровенно маркетинговым языком (AI transforms financial fraud operations by enabling sophisticated technical implementations – прочитав такое, прям хочется закупить токенов на Claude Code, если пример с корейцами вас не убедил). Кейсы (особенно связанные с полной автоматизацией целых стадий сложных целевых атак, а также активной помощью в эксплуатации/постэксплуатации и evasion) демонстрируют, что возможности фронтирных LLM в этой сфере растут. И если для простого пользователя мы имеем контроль с помощью privacy-preserving monitoring и constitutional classifiers, которые без специального промптинга зарубают даже относительно невинные сценарии, то для правительств продают «модели для обеспечения национальной безопасности» с «уменьшенным числом отказов» и «лучшим пониманием данных в сфере кибербезопасности». LLM вполне могут стать важным инструментом для разных трехбуквенных ведомств как в отражении атак, так и в их проведении – если, конечно, у них будет к ним доступ. Те, у кого не будет - будут сливать данные и TTP тем, у кого есть, причем в прямом эфире, или работать без ускорения, которое дают LLM.

BY llm security и каланы