tgoop.com/MathModels/1106
Last Update:
Похоже, что большие языковые модели уже прошли стандартный путь, свойственный всем инновациям, от восторга до стадии разочарования...
"Исследование, проведенное инженерами MIT, показало, что генеративный ИИ не понимает правила, по которым существует человеческий мир, и не умеет видеть в нем закономерности. Учёные обнаружили, что самые продвинутые большие языковые модели могут показывать отличные результаты, решая определенные задачи, такие как навигация по городу или предсказание ходов в играх, однако при малейшем изменении условий катастрофически теряют точность. Лучшим ИИ-продуктам оказалось не под силу понять даже логику простой настольной игры.
Команда исследователей из Массачусетского технологического института (MIT), Гарварда и Университета Корнелла проверила, как модели-трансформеры справляются с навигацией по Нью-Йорку. Ученые дали популярным ИИ-продуктам, таким как ChatGPT, задание построить маршрут по городу, используя пошаговые указания. На первых порах модели успешно решали задачу, предоставляя точные направления движения. Однако, когда учёные внесли изменения — например, перекрыли некоторые улицы и добавили объезды, — модели начали ошибаться. Исследователи отметили, что отключение всего 1% улиц снизило точность навигации с почти 100% до 67%.
При восстановлении карты Нью-Йорка, которую модели построили на основе своих «знаний», учёные обнаружили множество ошибок: несуществующие улицы, кривые дороги, пересечения в неожиданных местах и случайные надземные переходы. Эти детали показывают, что модели создают скорее упрощенные и фрагментарные версии города, а не настоящую карту.
Чтобы глубже исследовать, как модели создают внутренние представления о задачах, исследователи разработали 2 новые метрики. Первая метрика, различение последовательностей (sequence distinction), оценивает, может ли модель распознать различие между двумя состояниями — например, между двумя разными расположениями фишек на доске в стратегической настольной игре «Отелло». Вторая метрика, сжатие последовательностей (sequence compression), помогает оценить, понимает ли модель, что одинаковые состояния требуют одних и тех же действий.
Используя эти метрики, учёные тестировали, могут ли модели отличать одинаковые и разные последовательности шагов в ряде задач. Они обнаружили, что хотя модели способны генерировать правильные ходы и шаги, они не обязательно понимают логику задачи."
https://hightech.plus/2024/11/05/dazhe-luchshie-byam-ne-formiruyut-istinnuyu-model-mira
BY Mathematical Models of the Real World
Share with your friend now:
tgoop.com/MathModels/1106