tgoop.com/eboutdatascience/105
Last Update:
Как могут рофлить LLMки
Я хотел подсветить риски использования LLM в больших продуктах - это их бесконтрольная генерация
Ребята генерировали текста к баннерам, по итогу могли получаться вот такие вот результаты (пруфы на картинках)
- "запах и пятна мочи больше не проблема" при рекламе моющего средства
- "взорвет ваши уши" при рекламе колонки
- и самое интересное "почувствуй себя в раю" при рекламе какой-то дрочилки
Модель - YaGPT + p-tuning
Баннеры проходили этап модерации, поэтому естественно они не вышли на общий взор.
Как итог, важно бороться с такими вещами: аномалиями и некоторого образом выбросами. Можно построить модель классификатор или ранжировщик, который будет классифицировать/ранжировать товары по "порядочности" или сразу обучать модель так, чтобы она генерировала текста без такого контекста
Выступление, кстати, фрагмент с факапами я не нашёл в записи
