Первая LLM, которую мы успешно дообучили в Альфе 🔥

LLM не всегда справляются с задачами «из коробки». В ряде случаев им необходимо предоставить данные из базы знаний с помощью RAG-подхода. Однако для более сложных задач этого может быть недостаточно, тогда требуется дообучение модели.

Мы начали с задачи оценки ответов операторов.

«Дообучение LLM — неизбежный шаг при создании современных, качественных AI-систем. Когда все «низковисящие фрукты» уже собраны, наступает момент, когда модель необходимо дообучать напрямую, чтобы продолжать улучшать её качество. К счастью, существуют легковесные методы, которые позволяют делать это эффективно и без серьёзных затрат на инфраструктуру.

Особенно важно, что даже этих облегчённых подходов оказалось достаточно, чтобы достичь более высокого качества по сравнению с классическими решениями на базе BERT, которые долгое время считались золотым стандартом в задачах классификации.

Это значимый прецедент успешного дообучения LLM в Альфе, который меняет подход: теперь LLM применимы не только для генерации текста, но и для более узких задач, которые раньше решались отдельными моделями, обученными на большом объёме размеченных данных»,

— Александр Сенин, руководитель Центра компетенций Natural Language Processing

На карточках рассказываем, какие методы дообучения выбрали, с какими моделями начали и к каким результатам пришли 👆

Спойлер: удалось добиться стабильной высокой точности без перехода на внешние решения.

#aaa_hardposting