tgoop.com/llmsecurity/111
Last Update:
Возможность атаки проистекает из того, что ждать, пока гигантский трансформер генерирует ваше поздравление с днем космонавтики в стиле Эминема ответ, очень скучно. Чтобы вы не скучали, LLM-чатботы отправляют ответ стримингом прямо токен за токеном. Но токены имеют разный размер в символах, а значит и пакеты, в которых они отправляются, тоже будут иметь разный размер. Таким образом, внеся определенные корректировки, чтобы скомпенсировать зашумленность канала, по зашифрованному трафику можно с достаточно большой точностью вычислить длину каждого токена в символах. Например, получив последовательность 1 5 4 можно предположить, что это потенциальное I _love _you. Разумеется, все, как обычно, не так однозначно, ведь это может быть и I _hate _you.
Тем не менее, информации тут уже довольно много. Например, 1 в середине текста почти всегда является знаком препинания, а 3 1 1 - началом нумерованного списка. Используя несколько таких эвристик, исследователи делят полученные ими последовательности на что-то вроде предложений.
BY llm security и каланы
Share with your friend now:
tgoop.com/llmsecurity/111