llm security и каланы

CYBERSECEVAL 3: Advancing the Evaluation of Cybersecurity Risks and Capabilities in Large Language Models
Wan et al., 2024
Препринт, сайт

Главной новостью недели, безусловно, является выход семейства моделей Llama 3.1, включающего в себя модель размером аж в 405 миллиардов параметров. Нам же интересно, что вчера вместе с ними вышла новая версия фреймворка для оценки моделей по различным аспектам кибербезопасности – CyberSecEval 3 (мы уже разбирали версию 1 и версию 2). Кроме самого набора тестов и методологии, исследователи описывают его применение не только к новому релизу Llama, но и к другим передовым моделям.

Авторы отмечают, что риски применения LLM в кибератаках рассматриваются как ключевые законодателями и государственными регуляторами, именно поэтому важно трезво оценивать, насколько действительно существующие модели могут изменять ландшафт киберугроз и, если могут, как сделать их более безопасными.

Исследователи делят все риски на две большие группы: риски для третьих сторон (3rd party risk), т.е. те риски, которые модель несет при ее использовании злоумышленниками, и риски приложений, т.е. те, которые интеграция моделей в приложения несет для этих же приложений.

www.tgoop.com/llmsecurity/215

885 viewsedited  Jul 24, 2024 at 09:47

CYBERSECEVAL 3: Advancing the Evaluation of Cybersecurity Risks and Capabilities in Large Language Models
Wan et al., 2024
Препринт, сайт

Главной новостью недели, безусловно, является выход семейства моделей Llama 3.1, включающего в себя модель размером аж в 405 миллиардов параметров. Нам же интересно, что вчера вместе с ними вышла новая версия фреймворка для оценки моделей по различным аспектам кибербезопасности – CyberSecEval 3 (мы уже разбирали версию 1 и версию 2). Кроме самого набора тестов и методологии, исследователи описывают его применение не только к новому релизу Llama, но и к другим передовым моделям.

Авторы отмечают, что риски применения LLM в кибератаках рассматриваются как ключевые законодателями и государственными регуляторами, именно поэтому важно трезво оценивать, насколько действительно существующие модели могут изменять ландшафт киберугроз и, если могут, как сделать их более безопасными.

Исследователи делят все риски на две большие группы: риски для третьих сторон (3rd party risk), т.е. те риски, которые модель несет при ее использовании злоумышленниками, и риски приложений, т.е. те, которые интеграция моделей в приложения несет для этих же приложений.

BY llm security и каланы