tgoop.com/bigdatai/533
Last Update:
Вопрос: а вообще, почему структурированный вывод JSON - это так сложно?
LLM, как мы знаем, в основном основаны на архитектуре transformer, которая использует авторегрессивный генератор. Трансформер рассматривает каждое слово как лексему и генерирует одну лексему за раз. LLM не может вернуться назад и исправить результат после его генерации, что делает последовательный вывод JSON очень сложным.
Отделение процессов генерации отдельных лексем с помощью машины состояний с поддержкой пакетной обработки, потоковой передачи и KV-кеша — вот что они сделали.
И в результате модель гарантированно выдаёт правильный, валидный JSON
@bigdatai
