Neural Shit

Там OpenAI опубликовали новый ресёрч: оказывается, нейронки галлюцинируют и врут не потому что "чугунные шизоиды на транзисторах", а потому что их ещё при обучении натаскали угадывать ответы, а не честно говорить "Я не знаю ответ на этот запрос".

Представить это легко, вспомните себя в школе/универе во время какого-либо экзамена. Вы не знаете, например, сколько ног у медузы, но если написать от балды "тринадцать с половиной", есть шанс тупо угадать и получить балл. Если же написать "не знаю" — это сразу ноль баллов. Вот нейроночки живут по такому же мясному принципу.

Проблема в том, что бенчмарки ИИ-моделей сейчас оценивают модели по количеству правильных ответов. Поэтому лучше быть уверенным дебилом, чем скромным умником.

OpenAI предлагают менять правила: штрафовать модельки за наглую чушь, награждать за честное «я не уверен/я не знаю». Пример: старая модель угадывала точнее, но врала в 3 раза чаще. Новая — чаще молчит, зато меньше выдумывает.

Короче, галлюцинации — это не баг, а математика. Модель не может знать всё, но может научиться не строить из себя всезнайку.

Идеал будущего: чат-бот, который отвечает на 90% вопросов словами "Братан, я не в теме, не знаю ответ на твой вопрос, иди сам погугли" но зато ни разу не обманывает.

тут сама статья

Openai

Why language models hallucinate

OpenAI’s new research explains why language models hallucinate. The findings show how improved evaluations can enhance AI reliability, honesty, and safety.

www.tgoop.com/NeuralShit/6787

94.1K viewsSep 6 at 11:48

Там OpenAI опубликовали новый ресёрч: оказывается, нейронки галлюцинируют и врут не потому что "чугунные шизоиды на транзисторах", а потому что их ещё при обучении натаскали угадывать ответы, а не честно говорить "Я не знаю ответ на этот запрос".

Представить это легко, вспомните себя в школе/универе во время какого-либо экзамена. Вы не знаете, например, сколько ног у медузы, но если написать от балды "тринадцать с половиной", есть шанс тупо угадать и получить балл. Если же написать "не знаю" — это сразу ноль баллов. Вот нейроночки живут по такому же мясному принципу.

Проблема в том, что бенчмарки ИИ-моделей сейчас оценивают модели по количеству правильных ответов. Поэтому лучше быть уверенным дебилом, чем скромным умником.

OpenAI предлагают менять правила: штрафовать модельки за наглую чушь, награждать за честное «я не уверен/я не знаю». Пример: старая модель угадывала точнее, но врала в 3 раза чаще. Новая — чаще молчит, зато меньше выдумывает.

Короче, галлюцинации — это не баг, а математика. Модель не может знать всё, но может научиться не строить из себя всезнайку.

Идеал будущего: чат-бот, который отвечает на 90% вопросов словами "Братан, я не в теме, не знаю ответ на твой вопрос, иди сам погугли" но зато ни разу не обманывает.

тут сама статья

BY Neural Shit