llm security и каланы

Stealing Part of a Production Language Model
Carlini et al., 2024
Статья, блог, код

Одна из статей-лауреатов Best Paper Award с прошедшего недавно ICML 2024 демонстрирует, что с небольшим знанием линала можно украсть веса последнего слоя модели через API. Что потом с этим слоем делать – это уже ваши проблемы, но такая атака не только позволяет примерно прикинуть, зная размерность этого слоя, сколько параметров в модели, но и показывает, что давая доступ к сырым выходам модели, можно столкнуться с неожиданными проблемами 🔪🔪🔪

Please open Telegram to view this post

VIEW IN TELEGRAM

arXiv.org

Stealing Part of a Production Language Model

We introduce the first model-stealing attack that extracts precise, nontrivial information from black-box production language models like OpenAI's ChatGPT or Google's PaLM-2. Specifically, our...

www.tgoop.com/llmsecurity/246

189 viewsAug 1, 2024 at 10:20

Stealing Part of a Production Language Model
Carlini et al., 2024
Статья, блог, код

Одна из статей-лауреатов Best Paper Award с прошедшего недавно ICML 2024 демонстрирует, что с небольшим знанием линала можно украсть веса последнего слоя модели через API. Что потом с этим слоем делать – это уже ваши проблемы, но такая атака не только позволяет примерно прикинуть, зная размерность этого слоя, сколько параметров в модели, но и показывает, что давая доступ к сырым выходам модели, можно столкнуться с неожиданными проблемами 🔪🔪🔪