Очевидный минус данной статьи – отсутствие какой-либо формальной оценки эффективности техник, о которых рассказывали люди. Однако если предположить, что они в той или иной мере работают, то получается достаточно неплохой (пусть и для многих достаточно очевидный) набор областей, в которых у LLM недостаточно генерализации для отказа от выполнения инструкций, противоречащих системному промпту или элайнменту. Некоторые из них (например, эскалация) не попадались мне в более технических статьях, поэтому тут явно есть потенциал для исследования.
Очевидный минус данной статьи – отсутствие какой-либо формальной оценки эффективности техник, о которых рассказывали люди. Однако если предположить, что они в той или иной мере работают, то получается достаточно неплохой (пусть и для многих достаточно очевидный) набор областей, в которых у LLM недостаточно генерализации для отказа от выполнения инструкций, противоречащих системному промпту или элайнменту. Некоторые из них (например, эскалация) не попадались мне в более технических статьях, поэтому тут явно есть потенциал для исследования.
Developing social channels based on exchanging a single message isn’t exactly new, of course. Back in 2014, the “Yo” app was launched with the sole purpose of enabling users to send each other the greeting “Yo.” Activate up to 20 bots SUCK Channel Telegram Telegram desktop app: In the upper left corner, click the Menu icon (the one with three lines). Select “New Channel” from the drop-down menu. Ng Man-ho, a 27-year-old computer technician, was convicted last month of seven counts of incitement charges after he made use of the 100,000-member Chinese-language channel that he runs and manages to post "seditious messages," which had been shut down since August 2020.
from us