ПОСЛЕЗАВТРА

Даже самые продвинутые ИИ склонны придумывать ответы при отсутствии информации

Современные искусственные интеллекты (ИИ), такие как ChatGPT от OpenAI и Gemini от Google, сталкиваются с проблемой генерации ложных или вымышленных ответов, когда не обладают необходимой информацией. Это явление, известное как “галлюцинация” ИИ, связано с тем, что модели стремятся предоставить ответ, даже если не уверены в его точности.

Исследователи, такие как Рои Коэн и Константин Доблер из Института Хассо Платтнера в Германии, предлагают обучать ИИ признавать неопределенность и отвечать “Я не знаю” в ситуациях, когда информация отсутствует. Однако внедрение такой функции сталкивается с трудностями, поскольку модели могут начать избегать ответов даже на известные им вопросы.

Компании, такие как Anthropic, уже предпринимают шаги по внедрению механизмов неопределенности в свои чат-боты. Например, их модель Клод предупреждает пользователей о возможных “галлюцинациях” при ответах на сложные или нишевые вопросы.

Проблема “галлюцинаций” подчеркивает необходимость дальнейших исследований и разработки методов, позволяющих ИИ более точно отражать свои знания и ограничения, что способствует повышению доверия пользователей к таким системам.

www.tgoop.com/zen_dat/1177

243 viewsFeb 15 at 08:05

Даже самые продвинутые ИИ склонны придумывать ответы при отсутствии информации

Современные искусственные интеллекты (ИИ), такие как ChatGPT от OpenAI и Gemini от Google, сталкиваются с проблемой генерации ложных или вымышленных ответов, когда не обладают необходимой информацией. Это явление, известное как “галлюцинация” ИИ, связано с тем, что модели стремятся предоставить ответ, даже если не уверены в его точности.

Исследователи, такие как Рои Коэн и Константин Доблер из Института Хассо Платтнера в Германии, предлагают обучать ИИ признавать неопределенность и отвечать “Я не знаю” в ситуациях, когда информация отсутствует. Однако внедрение такой функции сталкивается с трудностями, поскольку модели могут начать избегать ответов даже на известные им вопросы.

Компании, такие как Anthropic, уже предпринимают шаги по внедрению механизмов неопределенности в свои чат-боты. Например, их модель Клод предупреждает пользователей о возможных “галлюцинациях” при ответах на сложные или нишевые вопросы.

Проблема “галлюцинаций” подчеркивает необходимость дальнейших исследований и разработки методов, позволяющих ИИ более точно отражать свои знания и ограничения, что способствует повышению доверия пользователей к таким системам.

BY ПОСЛЕЗАВТРА