AI Projects

Сейчас идет целый поток научных публикаций насчет борьбы с галлюцинациями у ИИ. Я постепенно дам их обзор, но сначала сделаю ремарку - не спешите за очередной методикой как "серебрянной пулей", их на деле очень много. Часть методик по борьбе с галлюцинациями вы и повторить вообще не сможете, а вот вендор LLM легко разломает вам какую вашу кулибинщину по борьбе с галлюцинациями, просто обновив свой продукт.

Apple раскрыл часть новой технологии обучения LLM в борьбе с галлюцинациями и наверняка это уже "Секрет Полишинеля" и тоже самое сейчас вы увидите в новых Gemini или Claude.

Идея заключается во внедрении защиты от галлюцинаций в сам процесс reinforcement learning. В CoT модели на обучении включается требование на рефлексию на предмет галлюцинаций. У Apple это делается через фреймворк RL4HS (Reinforcement Learning for Hallucination Span Detection) и функции награды на основе span-F1 метрики.

span-F1 дает модели высокую оценку не только за понимание, что была галлюцинация, но из локализацию ее в рассуждениях. Потом через GRPO это добавляется во взвешенные оценки по всему обучению.

Что это значит? Скорее всего, новые LLM смогут делать необычные рассуждения, когда сами будут указывать вам, что они заметили, что придумали какие-то факты и сами исправлять это своими рассуждениями дальше.

Наличие такого механизма стоит уже учитывать, если вы еще проектируете решение. Пока вы его делаете, это скорее всего уже будет обычной практикой у вендоров ИИ.

https://arxiv.org/abs/2510.02173v1

arXiv.org

Learning to Reason for Hallucination Span Detection

Large language models (LLMs) often generate hallucinations -- unsupported content that undermines reliability. While most prior works frame hallucination detection as a binary task, many...

🔥17❤7👍2

www.tgoop.com/turboproject/2246

1K viewsVladimir Ivanov, edited  Oct 6 at 06:57

Сейчас идет целый поток научных публикаций насчет борьбы с галлюцинациями у ИИ. Я постепенно дам их обзор, но сначала сделаю ремарку - не спешите за очередной методикой как "серебрянной пулей", их на деле очень много. Часть методик по борьбе с галлюцинациями вы и повторить вообще не сможете, а вот вендор LLM легко разломает вам какую вашу кулибинщину по борьбе с галлюцинациями, просто обновив свой продукт.

Apple раскрыл часть новой технологии обучения LLM в борьбе с галлюцинациями и наверняка это уже "Секрет Полишинеля" и тоже самое сейчас вы увидите в новых Gemini или Claude.

Идея заключается во внедрении защиты от галлюцинаций в сам процесс reinforcement learning. В CoT модели на обучении включается требование на рефлексию на предмет галлюцинаций. У Apple это делается через фреймворк RL4HS (Reinforcement Learning for Hallucination Span Detection) и функции награды на основе span-F1 метрики.

span-F1 дает модели высокую оценку не только за понимание, что была галлюцинация, но из локализацию ее в рассуждениях. Потом через GRPO это добавляется во взвешенные оценки по всему обучению.

Что это значит? Скорее всего, новые LLM смогут делать необычные рассуждения, когда сами будут указывать вам, что они заметили, что придумали какие-то факты и сами исправлять это своими рассуждениями дальше.

Наличие такого механизма стоит уже учитывать, если вы еще проектируете решение. Пока вы его делаете, это скорее всего уже будет обычной практикой у вендоров ИИ.

https://arxiv.org/abs/2510.02173v1

BY AI Projects