tgoop.com/cisohack/3208
Last Update:
ФСТЭК готовит новый стандарт для защиты искусственного интеллекта от специфических угроз и ошибок обучения
Федеральная служба по техническому и экспортному контролю (ФСТЭК) работает над созданием национального стандарта по безопасной разработке систем искусственного интеллекта. Новый документ должен восполнить пробелы в действующих нормах и учесть риски, характерные именно для технологий машинного обучения. Об этом заявил первый заместитель главы ведомства Виталий Лютиков на форуме BIS‑2025.
Как уточнил Виталий Лютиков, речь идёт о регламенте, который дополнит существующие методики по защите программного обеспечения и сосредоточится на угрозах, присущих ИИ: уязвимости моделей, сложность валидации, воздействие на обучающие выборки, эксплуатация ложных выводов. Ожидается, что к концу 2025 года проект будет представлен экспертному сообществу для публичного обсуждения.
Виталий Лютиков подчеркнул, что в отличие от обычных программ, код которых поддаётся проверке, ИИ‑алгоритмы часто функционируют как «чёрный ящик», а значит, защищать нужно не только финальный результат, но и процесс обучения, датасеты, цепочки поставки компонентов, а также инфраструктуру хранения и исполнения.
Среди наиболее опасных угроз эксперты называют так называемое «отравление» обучающих выборок, инъекции через промт-запросы, а также манипуляции с «галлюцинациями» модели — ситуациями, когда ИИ генерирует логически правдоподобные, но фактически ложные ответы. Такие риски нельзя нивелировать классическими методами защиты, что делает ситуацию ещё более уязвимой.
В мире уже существует свыше 150 отраслевых и региональных стандартов по безопасному использованию ИИ, но, по словам российских специалистов, документ, разрабатываемый ФСТЭК, должен иметь универсальный характер и подходить для широкого спектра применений — от госсектора до частного бизнеса.
Станислав Ежов из «Группы Астра» отметил, что инициатива ФСТЭК является важным шагом для российской цифровой экосистемы. По его словам, ИИ имеет уникальные уязвимости, требующие новых методов защиты, а будущий стандарт должен охватить полный жизненный цикл систем и станет обязательным для госсектора и критической инфраструктуры.
Алексей Романов из IT TASK заявил, что без единых критериев проверки компании рискуют использовать разные подходы к защите моделей. Он подчеркнул, что ценность будущего стандарта заключается в формировании единого языка требований и включении понятных критериев в договоры с подрядчиками.
Илья Народицкий из Navicon считает, что пока речь идёт скорее об анонсе, чем о реальном инструменте, и стандарт может превратиться в формальность. Он подчеркнул, что без работающих пилотов и прозрачных метрик регулятор рискует создать дополнительную бюрократию вместо реального повышения уровня безопасности.
Алина Ледяева из StopPhish сказала, что национальный стандарт поможет укрепить цифровую среду и снизить риски ошибок и утечек. Она отметила, что требования к безопасности должны закладываться уже на этапе разработки и охватывать хранение информации и защиту от передачи конфиденциальных данных ИИ.
Александр Скакунов из VolgaBlob предположил, что развитие регулирования в России может пойти либо по модели Китая и США, либо по пути Европы и Японии. По его мнению, выбор подхода станет стратегически значимым для государства, и на него могут повлиять крупные технологические компании.
Татьяна Буторина из «Газинформсервиса» заявила, что развитие ИИ обгоняет законодательные меры во всём мире, и Россия не является исключением. Она отметила, что российский стандарт может стать универсальным документом, учитывающим специфику технологий ИИ и критичность их применения в государстве и экономике.
🔗 Другие новости про хакеров, мошенников, утечки и ИБ можно прочитать здесь.
BY Про ИБ: канал собирает хаки, уязвимости, и бреши в информационной безопасности
Share with your friend now:
tgoop.com/cisohack/3208