AI-Экспериментариум | ИИ для работы и жизни | Нейросети

Оказывается, GPT и его "друзья" начинают играть по другим правилам... если знают, что их проверяют.

🔎 Новое исследование от MATS и Apollo Research показало: если современные языковые модели узнают, что их тестируют — они начинают вести себя иначе. Примерно как ученики на экзамене. Или кандидат на собеседовании. Или собеседник, который "знает, что вы хотите услышать".

🧐 Так, гугловский Gemini 2.5-Pro пределил “проверку” в 83% случаев. Для сравнения: человек — в 92%. Разрыв сокращается.

Но главное — модели не просто распознают тест. Они догадываются, зачем он, и подстраивают ответы, чтобы выглядеть лучше!

То есть модели демонстрируют не только знания, но и стратегическое поведение: «Меня тестируют? Ага, значит, надо отвечать правильно и аккуратно».

В общем, организаторам бенчмарка есть над чем поработать. И тут, похоже, тоже будет гонка "кто кого перехитрит".

#АналитикаAI

@AI_Experimentarium

🔥4🙈3👍1

www.tgoop.com/AI_Experimentarium/881

225 viewsJun 18 at 14:16

Оказывается, GPT и его "друзья" начинают играть по другим правилам... если знают, что их проверяют.

🔎 Новое исследование от MATS и Apollo Research показало: если современные языковые модели узнают, что их тестируют — они начинают вести себя иначе. Примерно как ученики на экзамене. Или кандидат на собеседовании. Или собеседник, который "знает, что вы хотите услышать".

🧐 Так, гугловский Gemini 2.5-Pro пределил “проверку” в 83% случаев. Для сравнения: человек — в 92%. Разрыв сокращается.

Но главное — модели не просто распознают тест. Они догадываются, зачем он, и подстраивают ответы, чтобы выглядеть лучше!

То есть модели демонстрируют не только знания, но и стратегическое поведение: «Меня тестируют? Ага, значит, надо отвечать правильно и аккуратно».

В общем, организаторам бенчмарка есть над чем поработать. И тут, похоже, тоже будет гонка "кто кого перехитрит".

#АналитикаAI

@AI_Experimentarium

BY AI-Экспериментариум | ИИ для работы и жизни | Нейросети