С 1-м днём 2025! Все живы после салатиков? 🤣

А chatgpt вы не забыли поздравить? Он ведь вам весь год помогал, делал за вас всю работу и всего за $20 в месяц 😅

С Новым годом 🎄

ИИволюция

У Anthropic пару недель назад вышел пост про агентов: https://www.anthropic.com/research/building-effective-agents

Он прекрасен тем, что определяет, что является агентом, а что не является. С точки зрения авторов поста, агент = система, в которой языковые модели динамически управляют собственными вызовами и инструментами, контролируя выполнение какой-то задачи.

Авторы утверждают, что для большинства случаев агенты не нужны: чем проще решение, тем лучше. С чем я полностью согласен 👏

Основное содержание поста — примитивы и паттерны оркестрирования языковых моделей без агентов. Основной примитив: улучшенная языковая модель, которая имеет доступ к инструментам, поиску и памяти. Этот примитив может быть реализован по-разному, например через конечное число последовательных вызовов языковой модели.

🔹Паттерн 1: цепочка промптов
Если задача разбивается на несколько последовательных подзадач, их можно решать отдельными вызовами языковой модели. Например, если вы хотите сделать систему, пишущую книги, вы сначала делаете вызов для генерации названия книги, потом отдельные вызовы для краткого описания, содержания, выжимок глав и непосредственно самих глав.

🔹Паттерн 2: маршрутизация
Если ваше приложение разбивается на несколько возможных параллельных путей, то стоит сделать классификатор, который будет определять нужный путь, и специализированные промпты под каждый из путей. Например, если вы делаете чатбот с несколькими независимыми функциями (рекомендация фильмов, ответы на вопросы по фильмам, чат на общие темы), то стоит использовать этот паттерн. В древних чатботах часто был детектор интентов, который делал ровно это 👴

🔹Паттерн 3: параллелизация
Если задача разбивается на несколько параллельных подзадач, то стоит их и вызывать параллельно. Например, если вам нужно извлечь огромный JSON из текста или переписки, возможно вам стоит извлекать его по кусочкам. Отличие от маршрутизации в том, что в ней нам нужна была только одна ветка, а тут нам нужны результаты всех вызовов.

🔹Паттерн 4: ведущий-ведомый 😭
То же самое, что и параллелизация, только с динамическим количеством и содержанием подзадач. Например, так можно делать агрегацию результатов поиска.

🔹Паттерн 5: цикл оценки
Если есть чёткие критерии оценки качества выполнения задачи, то можно одной языковой моделью решать задачу, а другой — оценивать качество решения и давать обратную связь. И делать это в цикле. Это может работать много где, например в переводе текстов.

Ну и наконец последний паттерн — агенты, которые совершают действия в определенной среде, получают от среды обратную связь, и снова совершают действия.

Мне в разных местах в разное время пришлось использовать первые 3 паттерна. При этом тогда я не формулировал их как отдельные паттерны. Это не какие-то абстрактные штуки, это кристаллизация того, как удобно и просто строить системы (как и любые другие паттерны проектирования).

Всех с понедельником! 😀

Всё, теперь точно праздники позади, возвращаюсь к активному постингу 👾

ИИволюция

Краткая выжимка перед сном:
— источники новостных аутлетов не врали: The Stargate Project — новая компания, в которую будут вложены деньги для развития ИИ-инфраструктуры в США. На сайте OpenAI написано, что это проект «for OpenAI», то есть звучит так, что они — эксклюзивные потребители возводимой инфраструктуры, и не должны будут делиться с теми, кто не участвует в Проекте.
— суммарно планируется инвестировать $500B за 4 года, первый транш в $100B уже готов. Это ОГРОМНЫЕ деньги: как я писал выше, Манхэттенский проект стоил примерно $30B, а Лунная программа Apollo— $257 миллиардов (обе цифры с учётом инфляции).
— для справки, капитальные расходы Google в этом году прогнозируются на уровне $50B, и это с учётом постройки новых датацентров, расширения старых, на всё про всё: и это ещё их расходы очень выросли за последние год-два. К примеру, в 2023-м у них было всего $32B. CEO OpenAI Sam Altman давно выражал обеспокоенность, что Google в среднесрочной перспективе сможет их обогнать по мощностям; теперь его страхи, по крайней мере пока, развеяны, и спонсирование обеспечено
— Noam Brown, исследователь из OpenAI, работавший над o1/o3, написал: «подобные инвестиции возможны только тогда, когда наука тщательно проверена и люди верят, что она будет успешной и полностью преобразующей. Я согласен, что сейчас самое время»
— символично, что сегодня был первый полноценный день Трампа в офисе, и это его первая пресс-конференция (вчерашнюю, являвшуюся частью официальной программы, не считаю), что с моей точки зрения подчёркивает важность происходящего
— суммарно Проект позволит создать более ста тысяч рабочих мест в США
— отвечая на вопросы, Трамп сказал, что не хочет ограничивать строительство новой инфраструктуры на федеральных землях
— откуда брать энергию? «Drill baby drill» говорит Трамп: начнётся наращивание добычи полезных ископаемых, увеличение выработки электроэнергии для поддержания производств и датацентров
— Ключевые компании-участники: Softbank, OpenAI. Им в помощь: Nvidia, Oracle, MGX (фонд ОАЭ — хорошо когда деньги от нефти есть, да?), Microsoft, Arm. Обратите внимание, что (пока) США не вкладывают государственные деньги в Проект.
— строительство начнётся в Техасе, но части датацентра будут раскиданы по всей стране, и сейчас идёт поиск подходящих мест. Было сказано, что строится 10 датацентров (которые, видимо, виртуально будут объединены в один) из 20 запланированных
— В рамках новых соглашений, Microsoft перестаёт быть эксклюзивным партнёром OpenAI по распространению технологии. OpenAI теперь снова могут строить и управлять своими датацентрами. Однако Microsoft оставляют за собой право первого отказа в предоставлении мощностей и своих услуг.
— С точки зрения применения AI, большой упор в речи был на здравоохранение, на исследования по разработке лекарств от рака, а также на возможность AI читать ваши мед. записи в фоне, анализируя данные и обнаруживая проблемы на ранних этапах.

Я думаю, что это не финальная стоимость проекта, и что она будет расширятся со временем — но не потому, что деньги воруют, неэффективно используют или что-либо ещё, а потому что польза ИИ и его ценность, а также национальный приоритет будут всё более и более очевидны.

===

Считаю, что Sama как CEO выполнил свою главную цель, обеспечив компанию необходимыми ресурсами на годы вперёд и наняв правильных людей. Это, безусловно, WIN 😜