Mathematical Models of the Real World

Ограничения LLMs на основе трансформеров
(По материалам https://www.tgoop.com/spydell_finance/8122)

🧠 Основная идея
Автор утверждает, что развитие ИИ на базе архитектуры трансформеров (на которых построены все современные большие языковые модели — LLMs) подошло к технологическому тупику. Несмотря на впечатляющие достижения, трансформеры имеют фундаментальные ограничения, которые мешают созданию настоящего интеллекта.
⚙️ Ключевые ограничения трансформеров
Ограниченное контекстное окно
Его нельзя бесконечно расширять из-за вычислительных затрат и архитектурных ограничений.
Попытки обойти это через внешние базы знаний — лишь временные «костыли».
Отсутствие долговременной памяти
Модели не могут учиться на лету, как человек.
Новые знания требуют переобучения, что дорого и неэффективно.
Проблема «заземления»
Модели обучаются на текстах, а не на реальном опыте.
Их «понимание» — это статистика, а не осмысленное восприятие мира.
Это приводит к галлюцинациям — правдоподобным, но ложным ответам.
Статичность архитектуры
После обучения модель не может изменять свою структуру.
Нет гибкости, как у человеческого мозга, который формирует новые связи.
Слабые когнитивные способности
Модели не умеют рассуждать, понимать причинно-следственные связи или планировать.
Отсутствует здравый смысл.
📉 Общий вывод
Архитектура трансформеров — мощная, но ограниченная.
Она не ведёт к созданию универсального интеллекта.
Мы наблюдаем фазу плато в развитии LLM: дальнейшие улучшения становятся всё менее значимыми и всё более затратными.
Публичное признание этих ограничений может подорвать инвестиции и хайп вокруг ИИ.

Telegram

Spydell_finance

Развитие ИИ закончено? Тупиковая ветвь эволюции

В архитектуре трансформеров, на котором базируются все без исключения современные LLMs вшит «деструктивный ген», фактически лимитирующий развитие.

В целом, длину контекстного окна ограничивает комбинация факторов:…

🔥2❤1👍1

www.tgoop.com/MathModels/1295

350 viewsAug 16 at 13:40

Ограничения LLMs на основе трансформеров
(По материалам https://www.tgoop.com/spydell_finance/8122)

🧠 Основная идея
Автор утверждает, что развитие ИИ на базе архитектуры трансформеров (на которых построены все современные большие языковые модели — LLMs) подошло к технологическому тупику. Несмотря на впечатляющие достижения, трансформеры имеют фундаментальные ограничения, которые мешают созданию настоящего интеллекта.
⚙️ Ключевые ограничения трансформеров
Ограниченное контекстное окно
Его нельзя бесконечно расширять из-за вычислительных затрат и архитектурных ограничений.
Попытки обойти это через внешние базы знаний — лишь временные «костыли».
Отсутствие долговременной памяти
Модели не могут учиться на лету, как человек.
Новые знания требуют переобучения, что дорого и неэффективно.
Проблема «заземления»
Модели обучаются на текстах, а не на реальном опыте.
Их «понимание» — это статистика, а не осмысленное восприятие мира.
Это приводит к галлюцинациям — правдоподобным, но ложным ответам.
Статичность архитектуры
После обучения модель не может изменять свою структуру.
Нет гибкости, как у человеческого мозга, который формирует новые связи.
Слабые когнитивные способности
Модели не умеют рассуждать, понимать причинно-следственные связи или планировать.
Отсутствует здравый смысл.
📉 Общий вывод
Архитектура трансформеров — мощная, но ограниченная.
Она не ведёт к созданию универсального интеллекта.
Мы наблюдаем фазу плато в развитии LLM: дальнейшие улучшения становятся всё менее значимыми и всё более затратными.
Публичное признание этих ограничений может подорвать инвестиции и хайп вокруг ИИ.

BY Mathematical Models of the Real World