Всем привет! Что-то я давно не писал лонгридов, а только пересылал посты из моего наблюдения.

И накопилось порядком много тем которые я прорабатывал последний месяц, вот пришел спросить у вас, что вам было бы интересно почитать.
Проголосовать можно в комментариях про что рассказать первым

1) Эксперименты с этой статьей, а именно Контекстуальный RAG (честно, гибридный поиск примерно так же дает по приросту качества bm25 + vector но добавлена контекстуальная разметка)

2) Провел полный цикл разработки агентского GuardRails (кратко: защитник от галлюцинаций в RAG)

3) Провел эксперименты с продуктом на базе FLUX + Luma и собрал интересную статистику

4) Развернул-таки Llama-3.2-11B-Vision на одной 4090 FP16

5) Собрал мультиагентную сеть супервизора с RAG агента, SQL агента + Response агента на базе vllm + lm-format-enforcer, и фишка тут, наверное, что все локально на llama-70b

6) Доработал свою систему тестирования RAGAS на базе локального агента llama-70-b, получил хорошую визуализацию и отчеты

О, ну и самое главное, что в написании кода и решение всех рабочих задач я переехал на Claude-3.5-sonnet, про это тоже отдельно расскажу.

А вот это дико круто с 3 запроса и ожидания в 3 недели я все таки получил доступ к апи runway, пошел тестировать и встраивать!

Ну что я считаю это победа хоть API у runway и кривое но я получил что хотел, их генерка одна из самых лучших доступных сейчас

Перечитал много гайдов по промптингу Runway, и да что бы добиться желаемого пришлось сжечь 30 генераций, промпт совершенно отличается от генераций картинок, есть идея сделать отличный репромптинг на базе llama, главное загрузить обширный in context learning, пишем что-то на простом, человеческом, LLM перепишет и переведёт под язык Runway

Мне конечно нечего тут сказать за репертура но ремикс Агутина и стиль подобный Миадзаки делает такие вещи приятными к просмотру

FLUX + Runaway внутри моего бота 4 генерации картинки и 4 генерации видео(с первого раза) склейка в CapCut за 2 минуты

Хочу поделиться с вами интересным эссе от Дарио Амодеи, CEO Anthropic, о потенциальном влиянии Powerful AI на мир:

"Machines of Loving Grace: How AI Could Transform the World for the Better"

Амодеи рассматривает, как Powerful AI может изменить различные сферы жизни в ближайшие 5-10 лет после его создания:

• Здравоохранение и биология
• Нейронаука и психическое здоровье
• Экономическое развитие
• Управление и демократия
• Смысл жизни в эпоху AI

Интересно, что автор отходит от термина AGI в пользу "Powerful AI", что отражает уход от хайпа в прагматичный взгляд на развитие технологий LLM

Рекомендую к прочтению всем, кто интересуется будущим AI и его влиянием на общество и еще написано достаточно круто и легко читается.

https://darioamodei.com/machines-of-loving-grace

Мы с вами живём в очень интересное время!

С первого раза поймали!

Всем привет!
Как обещал, раскрываю 5 пункт! 🚀
Создание мультиагентной системы на базе Llama 3.1-8b: Интеллектуальный супервизор задач
Ключевые особенности на мой взгляд
Использование vLLM
Применение lm-format-enforcer для структурированного вывода
Многопоточная обработка на NVIDIA RTX 4090 в 10 потоков

📊 Архитектура системы:
Супервизор (на базе Llama 3.1 8b)
RAG Agent разработки NDT (для работы с базой знаний)
SQL Agent (для запросов к БД)
ResponseGenerator Agent (для генерации ответов)

🤔 Почему lm-format-enforcer, а не function calling?
Я попробовал lm-format-enforcer, и мне понравилось, как я могу контролировать детерминированность структурированного вывода, что критично для сложных многоагентных систем.

Как это работает?
Внутри кода запуска модели происходит фильтрация путем создания маски разрешенных токенов на основе текущего состояния парсера и применения этой маски к выходным логитам языковой модели, обнуляя вероятности недопустимых токенов перед выбором следующего токена.
📝 Пример схемы для запроса:

schema = {
    "type": "object",
    "properties": {
        "agent": {"type": "string", "enum": ["RAG", "SQL", "ResponseGenerator"]},
        "task": {
            "type": "object",
            "properties": {
                "query": {"type": "string"},
                "additional_info": {"type": "string"}
            },
            "required": ["query"]
        }
    },
    "required": ["agent", "task"]
}

Эта схема определяет структуру ответа модели, гарантируя, что она выберет подходящего агента и сформулирует задачу в нужном формате.
Пример использования lm-format-enforcer:

request_data = {
    "messages": messages,
    "model": "llama-3.1-8b-instruct",
    "max_tokens": 1000,
    "temperature": 0.0,
    "guided_json": json.dumps(schema),
    "guided_decoding_backend": "lm-format-enforcer"
}

Запрос: Когда была последняя продажа проекта компании 'Супервизор'?
Ответ от модели:

{
  "task": {
    "query": "Последняя продажа проекта компании 'Супервизор'"
  },
  "agent": "SQL"
}

Модель в режиме агента смогла правильно классифицировать агента и далее запуститься пайплан работы SQL агента который сгенерирует SQL запрос

SELECT * FROM sales WHERE company_name = 'Супервизор'

и вернет данные в responce generator

[
0:"2023-05-15"
1:"2023-08-22"
]

Преимущества подхода:

Точный контроль над форматом вывода
Снижение вероятности галлюцинаций
Улучшенная интеграция между агентами
Масштабируемость на сложные сценарии

Что дальше?

- Усложнение агентской сети
- Работа над сборкой датасета для агентов
- Дальнейшая оптимизация производительности

https://huggingface.co/nvidia/Llama-3.1-Nemotron-70B-Instruct-HF/tree/main

Просто оставлю этот тут


Для 4 карт 4090 https://huggingface.co/leafspark/Llama-3.1-Nemotron-70B-Instruct-HF-FP8-Dynamic/tree/main

Красивое с реддита:
https://www.reddit.com/r/LocalLLaMA/s/1HkJlDtZsF

Кастомный билд 4 4090, Threadripper Pro 7965WX, 256GB RAM, два БП (be quiet! Straight Power 12 Platinum 1500W , Cooler Master V SFX Platinum 1300W), водное охлаждение и несколько 360mm вентиляторов. Материнка Asus Pro WRX90E-SAGE SE.