tgoop.com/neolemurian_advent/1421
Last Update:
Движуха с популяризацией проблем безопасности ИИ на самом деле делает все только хуже.
Все эти красочные сказки про апокалипсис лежат в открытом доступе и их доля со временем только увеличивается. Предобучение тех же LLM происходит на как раз на публичных данных путем предсказания следующего "слова". Имея схожие с этими сценариями вводные, модель сгенерирует схожий выход.
Так как "плохие" исходы рассматриваются чаще, тщательнее и со временем они становятся разнообразнее, то и генерация на выходе с большей вероятностью окажется вредной. Вряд ли при сборе данных такое будут тщательно вычищать, а дообучение для следования инструкциям и безопасному поведению - не панацея.
Просачивающееся опасное поведение ещё больше разгоняет идеи о том, что ИИ опасен, и круг замыкается.
Получается самосбывающееся пророчество, вызванное массовым непреднамеренным отравлением обучающих данных
BY Неолемурийский адвент
Share with your friend now:
tgoop.com/neolemurian_advent/1421