Ebout Data Science | Дима Савелко

SGR - Ликвидация галлюцинаций в LLM

Надоело, что LLM-ка на один и тот же запрос выдаёт то стихи, то рецепт борща, то вообще уходит в астрал? Ловит постоянно галлюны и никакого структурированного ответа, как будто обожралась грибов с Бали? 🤪

Но есть решение, которое уже набирает обороты и становится must have — SGR (Schema Guided Reasoning). Это подход, который превращает LLM из капризного «чёрного ящика» под грибами в управляемый и предсказуемый инструмент.

Как это работает?
SGR заставляет модель рассуждать по заранее определённым схемам. Вместо того чтобы дать ей полную свободу творчества, мы даём ей чёткий чертёж, по которому она должна построить свой ответ. Это жёстко снижает количество галлюцинаций и повышает предсказуемость 👋

На практике: вместо того чтобы просто попросить LLM «по-братски проанализировать документ», мы даем ей строгую схему, которая заставляет её выполнить последовательный и логичный мыслительный процесс:

1️⃣ Проверь применимость.
2️⃣ Дай чёткий ответ: Да/Нет.
3️⃣ Если «Нет» — выбери причину из списка и оцени, насколько всё плохо.
4️⃣ Покажи пальцем на косяки в тексте и предложи, как их исправить.

Вся магия работает через Structured Output (SO) с помощью JSON Schema. Если не душить терминами, то мы просто описываем чёткую структуру, которую хотим получить на выходе из каждого этапа 🤭

Простейший пример на Pydantic смотри на 1 картинке.
Дальше мы просто говорим модели: «Твой ответ должен соответствовать схеме ComplianceAnalysis, или я умру». И на выходе получаем чистенький, структурированный JSON, с которым уже можно нормально работать.

Базовые паттерны SGR 😎
Для практического применения удобно использовать несколько базовых паттернов:
🟣Cascade. Линейная последовательность шагов рассуждения. Подходит для
задач, где важен чёткий порядок действий (например, создание отчета).
🟡Routing. Ветвление. Модель выбирает подходящий путь рассуждения в
зависимости от условий.
🔵Cycle. Циклический процесс. Используется для итеративной работы, Например,
через этот паттерн можно реализовать ReAct-агента, где повторяются шаги
«Reasoning → Action».

Итог 🦆
SGR — это мощный инструмент, который превращает LLM из «творческого» генератора текста в надёжный и предсказуемый инструмент для анализа, чей процесс принятия решений прозрачен и легко проверяется. Короче, это мощный инструмент, который заставляет LLM работать по твоим правилам, а не генерировать рандомный грибной бред.

Почитать подробнее можно здесь, а про паттерны здесь

Please open Telegram to view this post

VIEW IN TELEGRAM

❤20👍15🔥8🍌5🥰1🆒1

www.tgoop.com/eboutdatascience/257

1.93K viewsSep 12 at 10:36

SGR - Ликвидация галлюцинаций в LLM

Надоело, что LLM-ка на один и тот же запрос выдаёт то стихи, то рецепт борща, то вообще уходит в астрал? Ловит постоянно галлюны и никакого структурированного ответа, как будто обожралась грибов с Бали? 🤪

Но есть решение, которое уже набирает обороты и становится must have — SGR (Schema Guided Reasoning). Это подход, который превращает LLM из капризного «чёрного ящика» под грибами в управляемый и предсказуемый инструмент.

Как это работает?
SGR заставляет модель рассуждать по заранее определённым схемам. Вместо того чтобы дать ей полную свободу творчества, мы даём ей чёткий чертёж, по которому она должна построить свой ответ. Это жёстко снижает количество галлюцинаций и повышает предсказуемость 👋

На практике: вместо того чтобы просто попросить LLM «по-братски проанализировать документ», мы даем ей строгую схему, которая заставляет её выполнить последовательный и логичный мыслительный процесс:

1️⃣ Проверь применимость.
2️⃣ Дай чёткий ответ: Да/Нет.
3️⃣ Если «Нет» — выбери причину из списка и оцени, насколько всё плохо.
4️⃣ Покажи пальцем на косяки в тексте и предложи, как их исправить.

Вся магия работает через Structured Output (SO) с помощью JSON Schema. Если не душить терминами, то мы просто описываем чёткую структуру, которую хотим получить на выходе из каждого этапа 🤭

Простейший пример на Pydantic смотри на 1 картинке.
Дальше мы просто говорим модели: «Твой ответ должен соответствовать схеме ComplianceAnalysis, или я умру». И на выходе получаем чистенький, структурированный JSON, с которым уже можно нормально работать.

Базовые паттерны SGR 😎
Для практического применения удобно использовать несколько базовых паттернов:
🟣Cascade. Линейная последовательность шагов рассуждения. Подходит для
задач, где важен чёткий порядок действий (например, создание отчета).
🟡Routing. Ветвление. Модель выбирает подходящий путь рассуждения в
зависимости от условий.
🔵Cycle. Циклический процесс. Используется для итеративной работы, Например,
через этот паттерн можно реализовать ReAct-агента, где повторяются шаги
«Reasoning → Action».

Итог 🦆
SGR — это мощный инструмент, который превращает LLM из «творческого» генератора текста в надёжный и предсказуемый инструмент для анализа, чей процесс принятия решений прозрачен и легко проверяется. Короче, это мощный инструмент, который заставляет LLM работать по твоим правилам, а не генерировать рандомный грибной бред.

Почитать подробнее можно здесь, а про паттерны здесь