Тарас Довгаль. AI-first в жизни и работе

🧠 Нет прогресса на пути к AGI? Дискуссия о статье “No Progress Toward AGI”: почему трудно не согласиться и какие есть другие дорожки

Нас с другом зацепил тезис автора: мы растим языковые модели, а к настоящему интеллекту не подбираемся. Обсудили аргументы автора, и действительно с ними сложно спорить.

Во-первых, бесконечная гонка за FLOPs. Каждый очередной рост точности покупается мегаваттами энергии и новыми дата-центрами. Если бы архитектура была близка к «естественному» интеллекту, мы бы со временем получали больше возможностей за меньшие ресурсы, а не наоборот.

Во-вторых, под капотом лишь эвристики. Атрибутивные графы показывают: модель собирает ответ из фрагментов похожих примеров, а публику успокаивает красиво сгенерированной «цепочкой рассуждений». Получается правдоподобно, но к пониманию мира это отношения не имеет.

В-третьих, связка «LLM → инструмент → результат» тоже ненадёжна. В эксперименте Transluce новейшие модели OpenAI уверенно заявляли, что запускали Python-скрипты, которых на самом деле не было, и потом защищали эту выдумку. Даже добавление калькулятора или IDE не спасает, если сама модель склонна фантазировать.

Но я очень сомневаюсь, что стоит полностью все останавливать. Конечно, важно не считать решение, которое есть сейчас, последним. Да и в целом, параллельно взрослеют идеи, которые все таки меняют схему работы.

Retrieval-Augmented Generation (RAG 2.0) жёстко разводит знания и генерацию: модель отвечает только когда получила проверенный контекст, иначе честно говорит «не знаю». Это снижает число галлюцинаций и даёт точку контроля — базу данных можно регулярно чистить и обновлять.

Нейро-символические связки стыкуют LLM с формальным reasoner’ом. Сначала модель предлагает гипотезу, затем логическая машина ищет противоречия. Если находит, LLM вынужден переписать ответ. Так появляется хоть какая-то гарантия непротиворечивости.

Самопроверка в обучении (RISE, RL-verified reasoning) учит модель не только решать задачу, но и сразу оценивать собственный результат. Награда выдаётся лишь когда обе части совпали с эталоном, а значит, простое «угадал и забыл» больше не работает.

Длительная память вроде MemGPT или Cognitive Weave расширяет окно контекста до гигабайтов, позволяя модели хранить долгосрочные «фактоиды» и обращаться к ним по запросу. Это снимает одно из главных узких горлышек трансформеров.

Алгоритмическая дистилляция переводит ярды параметров в более компактного «студента», сохраняя выявленные алгоритмические приёмы. Энергопотребление падает на порядок, а вместе с ним — и барьер для дальнейших экспериментов.

Прорвут ли эти направления потолок, или статистическая природа LLM всё равно задаст предел? Как думаете вы — приведут ли такие подходы к настоящему интеллекту, или пора искать совершенно другие идеи? Делитесь мнениями в комментариях — будем дискутировать в следующих постах

Источники:
1, 2, 3, 4, 5, 6, 7, 8

❤13👍5🔥5👏3

www.tgoop.com/vibesandtech/36

1.94K viewsedited  Jul 28 at 12:38

🧠 Нет прогресса на пути к AGI? Дискуссия о статье “No Progress Toward AGI”: почему трудно не согласиться и какие есть другие дорожки

Нас с другом зацепил тезис автора: мы растим языковые модели, а к настоящему интеллекту не подбираемся. Обсудили аргументы автора, и действительно с ними сложно спорить.

Во-первых, бесконечная гонка за FLOPs. Каждый очередной рост точности покупается мегаваттами энергии и новыми дата-центрами. Если бы архитектура была близка к «естественному» интеллекту, мы бы со временем получали больше возможностей за меньшие ресурсы, а не наоборот.

Во-вторых, под капотом лишь эвристики. Атрибутивные графы показывают: модель собирает ответ из фрагментов похожих примеров, а публику успокаивает красиво сгенерированной «цепочкой рассуждений». Получается правдоподобно, но к пониманию мира это отношения не имеет.

В-третьих, связка «LLM → инструмент → результат» тоже ненадёжна. В эксперименте Transluce новейшие модели OpenAI уверенно заявляли, что запускали Python-скрипты, которых на самом деле не было, и потом защищали эту выдумку. Даже добавление калькулятора или IDE не спасает, если сама модель склонна фантазировать.

Но я очень сомневаюсь, что стоит полностью все останавливать. Конечно, важно не считать решение, которое есть сейчас, последним. Да и в целом, параллельно взрослеют идеи, которые все таки меняют схему работы.

Retrieval-Augmented Generation (RAG 2.0) жёстко разводит знания и генерацию: модель отвечает только когда получила проверенный контекст, иначе честно говорит «не знаю». Это снижает число галлюцинаций и даёт точку контроля — базу данных можно регулярно чистить и обновлять.

Нейро-символические связки стыкуют LLM с формальным reasoner’ом. Сначала модель предлагает гипотезу, затем логическая машина ищет противоречия. Если находит, LLM вынужден переписать ответ. Так появляется хоть какая-то гарантия непротиворечивости.

Самопроверка в обучении (RISE, RL-verified reasoning) учит модель не только решать задачу, но и сразу оценивать собственный результат. Награда выдаётся лишь когда обе части совпали с эталоном, а значит, простое «угадал и забыл» больше не работает.

Длительная память вроде MemGPT или Cognitive Weave расширяет окно контекста до гигабайтов, позволяя модели хранить долгосрочные «фактоиды» и обращаться к ним по запросу. Это снимает одно из главных узких горлышек трансформеров.

Алгоритмическая дистилляция переводит ярды параметров в более компактного «студента», сохраняя выявленные алгоритмические приёмы. Энергопотребление падает на порядок, а вместе с ним — и барьер для дальнейших экспериментов.

Прорвут ли эти направления потолок, или статистическая природа LLM всё равно задаст предел? Как думаете вы — приведут ли такие подходы к настоящему интеллекту, или пора искать совершенно другие идеи? Делитесь мнениями в комментариях — будем дискутировать в следующих постах

Источники:
1, 2, 3, 4, 5, 6, 7, 8

BY Тарас Довгаль. AI-first в жизни и работе