llm security и каланы

Защищаться от такой уязвимости довольно легко – достаточно добавлять к пакетам случайной длины padding (так, например, сделали Cloudflare), отправлять токены случайными пачками по несколько штук или вообще весь ответ сразу. Первое, правда, стоит денег (трафик не бесплатный), а второе – может ухудшить UX.

Атака очень остроумная, а статья написано очень интересно, поэтому вполне могу порекомендовать прочитать. Особенно порадовало использование достаточно большого объема приемов из NLP для реализации и оценки задачи (ROUGE, T5, MiniLM). Некоторые вещи показались странными (например, исследователи сэмплировали k декодировок неуказанным методом, а потом оценивали их той же T5, а не использовали, например, beam search, который напрашивается), но в целом статья показывает, что иногда угрозы приходят оттуда, откуда их совсем не ждешь, и LLM тут не исключение.

The Cloudflare Blog

Mitigating a token-length side-channel attack in our AI products

The Workers AI and AI Gateway team recently collaborated closely with security researchers at Ben Gurion University regarding a report submitted through our Public Bug Bounty program. Through this process, we discovered and fully patched a vulnerability affecting…

www.tgoop.com/llmsecurity/115

219 viewsApr 9, 2024 at 20:37

Защищаться от такой уязвимости довольно легко – достаточно добавлять к пакетам случайной длины padding (так, например, сделали Cloudflare), отправлять токены случайными пачками по несколько штук или вообще весь ответ сразу. Первое, правда, стоит денег (трафик не бесплатный), а второе – может ухудшить UX.

Атака очень остроумная, а статья написано очень интересно, поэтому вполне могу порекомендовать прочитать. Особенно порадовало использование достаточно большого объема приемов из NLP для реализации и оценки задачи (ROUGE, T5, MiniLM). Некоторые вещи показались странными (например, исследователи сэмплировали k декодировок неуказанным методом, а потом оценивали их той же T5, а не использовали, например, beam search, который напрашивается), но в целом статья показывает, что иногда угрозы приходят оттуда, откуда их совсем не ждешь, и LLM тут не исключение.

BY llm security и каланы