LawCoder

Проблема галлюцинаций: особенность, а не дефект

Все слышали про то, что ЛЛМ могут галлюцинировать, т.е. ошибаться, придумывать несуществующие факты и т.д. И естественно реакцией является: ну, вот эта ЛЛМ еще несовершенная, сейчас умные умы её допилят и она не будет ошибаться, т.е. галлюцинировать.

Но Карпати в своих объяснения говорит, что это не баг, а фича. Все что делает ЛЛМ это постоянные галлюцинации. Карпати называет ЛЛМ "машины снов" (dream machines). В этом её принципиальное отличие от алгоритмических систем, в которых вы даете что-то конкретное на вход и получаете 100% контролируемый результат на выходе.

Для решения проблемы галлюцинаций в практических приложениях Карпати предлагает такие методы как RAG (Retrieval Augmented Generation), использование множественной генерации с проверкой, цепочки верификации и применение внешних инструментов. Эти подходы позволяют "заземлить" креативные способности модели в фактических данных.

Но это уже на мой субъективный взгляд, по сути просто костыли, которые мы прикручиваем к изначально проблемной технологии.

Это серия постов с заблуждениями об ЛЛМ. Предыдущий здесь и здесь.

LawCoder

www.tgoop.com/law_coder/196

471 viewsВладимир Глебовец, Jun 6 at 07:29

Проблема галлюцинаций: особенность, а не дефект

Все слышали про то, что ЛЛМ могут галлюцинировать, т.е. ошибаться, придумывать несуществующие факты и т.д. И естественно реакцией является: ну, вот эта ЛЛМ еще несовершенная, сейчас умные умы её допилят и она не будет ошибаться, т.е. галлюцинировать.

Но Карпати в своих объяснения говорит, что это не баг, а фича. Все что делает ЛЛМ это постоянные галлюцинации. Карпати называет ЛЛМ "машины снов" (dream machines). В этом её принципиальное отличие от алгоритмических систем, в которых вы даете что-то конкретное на вход и получаете 100% контролируемый результат на выходе.

Для решения проблемы галлюцинаций в практических приложениях Карпати предлагает такие методы как RAG (Retrieval Augmented Generation), использование множественной генерации с проверкой, цепочки верификации и применение внешних инструментов. Эти подходы позволяют "заземлить" креативные способности модели в фактических данных.

Но это уже на мой субъективный взгляд, по сути просто костыли, которые мы прикручиваем к изначально проблемной технологии.

Это серия постов с заблуждениями об ЛЛМ. Предыдущий здесь и здесь.

LawCoder

BY LawCoder