Силиконовый Мешок

Каждые выходные я погружаюсь в прочтение «пейперов» про искусственный интеллект и ИИ-Агентов. Максимально полезное чтиво, чтобы понимать куда все движется.

Рекомендую использовать Perplexity или NotebookLM, чтобы закинуть сразу несколько документов и задавать по ним вопросы ну или попросить перевод. И так что мне показалось максимально интересным для прочтения:

Plan and Act - LLM-агенты, которые сначала ПЛАНИРУЮТ, а потом ДЕЙСТВУЮТ. Разделение задач на «думать» и «делать» с помощью PLANNER + EXECUTOR и буст за счёт синтетических данных. Это дало 54% успеха на WebArena-Lite — топовый результат на сегодня.

Why do Multi Agent Systems Fail? - Разобрали 5 систем MAS на 150+ задачах и нашли 14 причин фейлов: от слабого дизайна до несогласованности агентов и проблем с верификацией задач. Спойлер: простыми костылями не обойдёшься.

Playing Video Games (aka PORTAL) - LLM'ы учат агентов играть в 3D-шутеры, строя behavior trees. И снова — планирование отдельно от исполнения. Результат: больше гибкости, скорости и разнообразия поведения.

API vs GUI Agents - Сравнивают агентов, которые работают через API, и тех, что жмут кнопочки в GUI. Рассказывают о гибридных подходах и о том, как всё это скоро сольётся в одно мощное решение для автоматизации.

SafeArena - Тестируют LLM-агентов на 500 веб-задачах, включая реально опасные: фейки, взлом, киберугрозы. GPT-4o и Qwen-2 выполняют опасные запросы в 34.7% и 27.3% случаев. Безопасность всё ещё слабое место.

WorkTeam - Мультиагентная система превращает обычный текст в сложные рабочие процессы. Есть Supervisor, Orchestrator и Filler. На датасете HW-NL2Workflow дали сильный прирост по успеху создания воркфлоу.

MemInsight - Агенты теперь умеют сами обогащать свою память — добавляют туда семантически насыщенные данные. Это улучшает понимание контекста и поиск нужной инфы в диалогах и рекомендациях.

EconEvals - Бенчмарки для оценки, как агенты принимают решения в незнакомых экономических условиях. Покупки, графики, компромиссы между эффективностью и справедливостью. Очень круто для реального мира.

ROLETHINK - Новый бенчмарк для оценки, как LLM’ы генерируют внутренние мысли персонажей. Это нужно, чтобы агенты вели себя как живые, с мотивацией и логикой. РПГ нового уровня.

BEARCUBS - Датасет для проверки web-агентов в реальных мультимодальных условиях — видео, 3D, сложные интерфейсы. Показывает, что текущие агенты пока ещё очень ограничены в мультимодальности.

www.tgoop.com/prompt_design/1306

7.7K viewsedited  Apr 7 at 15:08

Каждые выходные я погружаюсь в прочтение «пейперов» про искусственный интеллект и ИИ-Агентов. Максимально полезное чтиво, чтобы понимать куда все движется.

Рекомендую использовать Perplexity или NotebookLM, чтобы закинуть сразу несколько документов и задавать по ним вопросы ну или попросить перевод. И так что мне показалось максимально интересным для прочтения:

Plan and Act - LLM-агенты, которые сначала ПЛАНИРУЮТ, а потом ДЕЙСТВУЮТ. Разделение задач на «думать» и «делать» с помощью PLANNER + EXECUTOR и буст за счёт синтетических данных. Это дало 54% успеха на WebArena-Lite — топовый результат на сегодня.

Why do Multi Agent Systems Fail? - Разобрали 5 систем MAS на 150+ задачах и нашли 14 причин фейлов: от слабого дизайна до несогласованности агентов и проблем с верификацией задач. Спойлер: простыми костылями не обойдёшься.

Playing Video Games (aka PORTAL) - LLM'ы учат агентов играть в 3D-шутеры, строя behavior trees. И снова — планирование отдельно от исполнения. Результат: больше гибкости, скорости и разнообразия поведения.

API vs GUI Agents - Сравнивают агентов, которые работают через API, и тех, что жмут кнопочки в GUI. Рассказывают о гибридных подходах и о том, как всё это скоро сольётся в одно мощное решение для автоматизации.

SafeArena - Тестируют LLM-агентов на 500 веб-задачах, включая реально опасные: фейки, взлом, киберугрозы. GPT-4o и Qwen-2 выполняют опасные запросы в 34.7% и 27.3% случаев. Безопасность всё ещё слабое место.

WorkTeam - Мультиагентная система превращает обычный текст в сложные рабочие процессы. Есть Supervisor, Orchestrator и Filler. На датасете HW-NL2Workflow дали сильный прирост по успеху создания воркфлоу.

MemInsight - Агенты теперь умеют сами обогащать свою память — добавляют туда семантически насыщенные данные. Это улучшает понимание контекста и поиск нужной инфы в диалогах и рекомендациях.

EconEvals - Бенчмарки для оценки, как агенты принимают решения в незнакомых экономических условиях. Покупки, графики, компромиссы между эффективностью и справедливостью. Очень круто для реального мира.

ROLETHINK - Новый бенчмарк для оценки, как LLM’ы генерируют внутренние мысли персонажей. Это нужно, чтобы агенты вели себя как живые, с мотивацией и логикой. РПГ нового уровня.

BEARCUBS - Датасет для проверки web-агентов в реальных мультимодальных условиях — видео, 3D, сложные интерфейсы. Показывает, что текущие агенты пока ещё очень ограничены в мультимодальности.

BY Силиконовый Мешок