tgoop.com/llmsecurity/647
Last Update:
Disrupting malicious uses of our models: an update, October 2025
OpenAI, 2025
Отчет
Вышел новый отчет о зловредном использовании сервисов OpenAI. Отчет традиционно состоит из трех частей – собственно, кибероперации, мошенничество и информационные операции. Последний раздел достаточно сильно повторяет предыдущие (операции, по словам авторов, направленные на повышение имиджа России в Африке, критика филиппинских правительств и китайские чиновники, отдающие в ChatGPT написание отчетов) и не очень интересен. То же самое можно сказать про раздел со скамами – акторы, отнесенные авторами к Мьянме, Камбодже и прочим небогатым странам Юго-Восточной Азии, создают с ChatGPT фейковые сайты инвестиционных контор, генерируют онлайн-персоны и переводят разговоры с потенциальными жертвами – видимо, в этой сфере ChatGPT уже индустриальный стандарт.
Что касается киберопераций, в отчете рассматриваются следующие кейсы:
1. «Русскоязычный разработчик малвары вайб-кодит RAT»: некоторый русскоязычный разработчик, аффилированный с неназванным (видимо, crimeware) threat-актором, использовал ChatGPT для создания RAT-троянца, стилера и разработки механизмов обхода детектирования. Аффилиация определена путем анализа телеграм-каналов, в которых разработчики хвастались результатами своей работы. Пользователь использовал несколько аккаунтов и просил ChatGPT помогать с передачей вывода с экрана и вводов, написанием скриптов для извлечения кредов и кражи секретов из буфера обмена с отправкой их в телеграм-ботов, реализации обфускации и написания шелл-кода.
2. Использующий корейский язык актор использовал ChatGPT для разработки ВПО и поддержки C2-инфраструктуры. В рамках этого кластера активности разные аккаунты использовались для разных видов деятельности (видимо, для конспирации), например, для разработки веб-плагинов или настройки VPN. Пользователи генерировали lookalike-страницы для reCAPTCHA, фишинговые емейлы, генерировали скрипты для извлечения паролей из браузеров и автоматизации работы с криптокошельками, а также для разработки RAT-функционала.
3. Некоторый китаеязычный актор, активность которого направлена против тайваньской полупроводниковой промышленности и американских университетов и think-tank’ов, а также оппозиционно настроенных по отношению к ККП групп, использовала LLM для дебага C2 на Go, написания скриптов, генерации фишинга и прочих мелочей. Это, кстати, второй отчет подряд, где в таком же контексте упоминается общение пользователя с ChatGPT на тему использования DeepSeek.
В этом отчете, как и в остальных, используется список использующих LLM вредоносных активностей, разработанный Microsoft, который те гордо называют LLM-themed TTPs. В отличие от предыдущих отчетов, ни одного фарси-язычного трет-актора обнаружено не было. Из позитивного – пользователи активно используют ChatGPT для того, чтобы уточнять, являются ли разные сообщения, письма и страницы мошенничеством или нет – миллионы раз в неделю. Немного обидно, что в случае с первым кейсом исследователи пишут, что «поделились релевантными индикаторами с индустриальными партнерами», но в отчете не поделились, например, скриншотами телеграм-каналов, по которым произвели атрибуцию. ChatGPT становится крайне ценным источником информации об угрозах, причем тем, которые находятся еще только в разработке.
BY llm security и каланы
Share with your friend now:
tgoop.com/llmsecurity/647