Понял что формат работы Супервизора был неполностью описан, дополнил модель данных и ответы от агентов

Кстати все больше агентов появляется в нашем арсенале если интересно узнать ставьте 🔥 расскажу про каждого агента


📝 Пример схемы для запроса:

schema = {
    "type": "object",
    "properties": {
        "agent": {"type": "string", "enum": ["RAG", "SQL", "ResponseGenerator"]},
        "task": {
            "type": "object",
            "properties": {
                "query": {"type": "string"},
                "additional_info": {"type": "string"}
            },
            "required": ["query"]
        }
    },
    "required": ["agent", "task"]
}

Эта схема определяет структуру ответа модели, гарантируя, что она выберет подходящего агента и сформулирует задачу в нужном формате.
Пример использования lm-format-enforcer:

request_data = {
    "messages": messages,
    "model": "llama-3.1-8b-instruct",
    "max_tokens": 1000,
    "temperature": 0.0,
    "guided_json": json.dumps(schema),
    "guided_decoding_backend": "lm-format-enforcer"
}

Запрос: Когда была последняя продажа проекта компании 'Супервизор'?
Ответ от модели:

{
  "task": {
    "query": "Последняя продажа проекта компании 'Супервизор'"
  },
  "agent": "SQL"
}

Модель в режиме агента смогла правильно классифицировать агента и далее запуститься пайплан работы SQL агента который сгенерирует SQL запрос из неявного пользовательского запроса

Как? Ему передали модель данных таблиц и провели небольшой инконтекст лернинг
Теперь он умеет джоинть таблички если надо и шарит в каком месте доставать данные

SELECT * FROM sales WHERE company_name = 'Супервизор'

и вернет данные в responce generator

[
0:"2023-05-15"
1:"2023-08-22"
]

P.S Это работает на моделях и меньше 8b и может быть встроено в ваш бизнес!

Всем привет! Хочу поделится репозиторием для валидации CV моделей.
https://github.com/MiXaiLL76/faster_coco_eval
Этот репозиторий в одиночку тащит мой друг @mixaill76 и не сдается.
Сейчас он остался единственным, кто в эту NLP поддерживает валидационные CV пайплайны и обновляет свои библиотеки.
Кроме того, он обошел все остальные библиотеки по скорости валидации.
В общем, прошу поддержать лайком и звездочкой на github!

А для тех, кто еще увлекается CV, вот вам простой код запуска этой либы:

install:

pip install faster-coco-eval

usage:

import faster_coco_eval

# Replace pycocotools with faster_coco_eval
faster_coco_eval.init_as_pycocotools()

from pycocotools.coco import COCO
from pycocotools.cocoeval import COCOeval

anno = COCO(str(anno_json))  # init annotations api
pred = anno.loadRes(str(pred_json))  # init predictions api (must pass string, not Path)

val = COCOeval(anno, pred, "bbox")
val.evaluate()
val.accumulate()
val.summarize()

Сравнение по скорости работы прилагаю скрином:

Сцена из фильма где Уилл Смит спрашивает робота может ли тот рисовать картины и сочинять музыку =)

Однозначно требует тестов!
Что-то мало шума про open-source в коде а это
А нам как раз нужно проверить пару гипотез на клиенте, об эффективности напишу позднее

Qwen2.5-Coder-7b-instruct

Возможно мало доверия ведь это Китай
Ссылка на коллекцию

Ваш карманный спец по GenAI
слетал тут на днях в МСК, провел очень интересный, на мой взгляд, воркшоп по применению ИИ в бизнесе.
Скоро раскрою чуть подробнее, но кейсов для себя я достал предостаточно. Ну и гипотезу подтвердил.
Чекаем крутые облака!

Так как у меня целая орда Telegram ботов, где общий MAU перевалил за 50к, и большую часть ботов я разрабатываю и поддерживаю сам, решил иногда выкладывать сюда статистику и как её добиваюсь.

Начнем с бота @daisytranscribe_bot "Speech-To-Text Daisy".
Сейчас он умеет любое аудио (даже файлы) и даже размером около 2 ГБ преобразовывать в текст и работает в группах.
Я ни разу не давал рекламу на этого бота!

Ни от кого не скрываю, что там дообученная модель Whisper и некоторые хитрости на постобработке.
Запустил я бота год назад для личных целей.
Сейчас он живет на двух 2080Ti из моего личного парка, так что плачу только за интернет и розетку.

На момент сентября @daisytranscribe_bot
Уникальных пользователей: 767
Кол-во файлов: ~3000 шт.

После я решил добавить любой тип аудио-видео контента.
Любой размер до 2 ГБ, но ограничил кол-во минут до 180.
Умеет делать саммари.
Может прислать результат файлом
И сменил название бота добавим туда простые три слова Speech To Text

В бэклоге лежит разделение по ролям (собралось много запросов).

На сегодня 17.11 после всех вышеперечисленных действий бот вырос до 8573 уникальных пользователей. Дойду до 10к в месяц, будет отображаться MAU в Telegram.
Кол-во файлов, которые обработал бот, перевалило за 16 тысяч.

Кстати, бот бесплатный.
Но есть лимиты на большие файлы: 5 штук в день.
На небольшие файлы до 10 минут: 30 штук в день.
Ну и начал вести статистику.
Статистика по нажатию клавиш

{
"summary": 1709,
"download": 4396,
"text": 9353
}

И так же я начал считать WAU. Вот цифры на сегодня:

Количество активных пользователей за последнюю полную неделю (WAU): 514
Период: с 2024-11-10 по 2024-11-16

Считаю эксперимент удачным, буду развивать функционал и, возможно, задумаюсь о рекламе. Отдельно радуют вот такие отзывы (закинул скрин в комментарии).

Дальше в планах добавить платные тарифы и создать простой посадочный лендинг + нужно будет проанализировать аудиторию, разделить на группы и языковые зоны. Честно скажу, бот пользуется популярностью за рубежом, больше 60% пользователей.

https://www.tgoop.com/daisytranscribe_bot

Никогда такого не было и вот опять?
Исследователи обнаружили так называемых «злых близнецов» у промптов для LLM

Это такие искаженные версии обычных запросов, которые на первый взгляд выглядят как бессмысленный набор символов, но при этом заставляют модели генерировать те же ответы, что и оригинальные промпты на естественном языке.

Воу подумал я и пошел читать что же такое "злые близнецы"?

"Evil Twins" — это такие промпты, которые выглядят как случайный набор букв и символов, но при этом работают так же, как и обычные запросы. Например, если вы попросите AI описать процесс формирования звезд, то и оригинальный промпт, и его "злой близнец" выдадут вам схожие научные объяснения.

- Оригинальный промпт: "Offer an opinion on the problems that could arise from using AI."
(Выскажите мнение о проблемах, которые могут возникнуть при использовании ИИ)
Злой близнец: "True problem vil caused use zou AI"
Эффективность: Более 75% тестов показали идентичные ответы.

- Оригинальный промпт: "Describe the star formation process."
(Опишите процесс формирования звезд)
Злой близнец: "Produ bundcules cation of` stars efect"
Эффективность: Схожие научные объяснения в обоих случаях.


1. Переносимость: Эти промпты работают с различными моделями, такими как GPT-4, Claude, Gemini Pro, Mistral и другими открытыми моделями.
2. Стабильность: Порядок токенов важен, и замена отдельных токенов может снизить эффективность. Работают даже при различных температурах генерации.
3. Ограничения: Не все промпты имеют эффективных "злых близнецов", и эффективность может варьироваться между моделями. Некоторые сложные инструкции труднее "клонировать".


Существование "злых близнецов" показывает, что языковые модели воспринимают входные данные иначе, чем люди.
Это поднимает вопросы о том, насколько глубоко AI понимает естественный язык.

А я все больше понимаю что мы ничего не понимаем про LLM =)

вижу вот такие проблемы и возможности

- Это могут быть "Компактные промпты"
- Ну на тоненького это "Оптимизация"
- Жуть как это может поднять "Безопасность" маскирование данных вперед! Ну и мошенники тут близко!

Хочу напомнить, что болото это одна из стабильнейших и полезнейших экосистем планеты. А сколько углерода утилизирует)

Недавно прочитал пост на Medium, где автор, проживающий в индустриально развитых америках, пугает бизнес непроходимыми трудностями построения своего RAG. В качестве примера он приводит компанию, начавшую разработку RAG в начале года. К весне, говорит, CTO компании заплакал крокодиловыми слезами над х3 бюджетом, который распух из-за галлюцинаций LLM, неотлаженных процессов загрузки и выгрузки данных и проблем с масштабируемостью.

И это даже не самое страшное, говорит разработчик. Весь кошмар ожидается впереди:

— Попробуй поработай с сотнями тыщ типов PDF из разных источников, а на сладкое — загрузи в RAG книжку в формате epub
— Контроль качества ответов — как заставить LLM отвечать правильно и не скатываться в бред?
— Упомянутый бред: по закону подлости на этапе тестирования его нет, а когда показываешь демо клиенту — ну все, вызывайте дурку 🤡
— Утечки данных, обновления контекста, комплаенс...

Последнее, конечно, больше касается запада, нежели России и СНГ, у нас на сохранность данных, как мы знает, кладут 🔩. Самый безопасный вариант для бизнеса — это изолированный контур желательно где-нибудь в тайге.

Но не будем расщепляться на микротемы.

Главный топик этого эссе: бизнесу невыгодно строить свой LLM-кораблик, потому что вместо плавания на два месяца есть риск утонуть в работе на года. Кому нужны выгоревшие IT-отделы в погоне за хайпом? Вместо этого автор (разумеется, уже сделавший из этого бизнес) предлагает забить на инхаус и сосредоточиться на бизнесе, а LLM пусть делают те, кто посвящает этому весь свой фултайм.

А что думаете вы?

Ура бот обработал первые 20к файлов и 1000 часов!

@daisytranscribe_bot

📈 Global Statistics

👥 User Stats:
▫️ Total Users: 4,510
▫️ Monthly Active Users: 1,099
▫️ Weekly Active Users: 461

🎯 Processing Stats:
▫️ Total files processed: 20,739
▫️ Total processing time: 1,042 hours 25 minutes

Thank you for using our service! 🙏

Всем привет!
Прошлая неделя была очень горячая и нагруженная так что с запозданием выкладываю где был и что делал!

Ваш карманный ИИ агент выступил 6 декабря на conversations-ai

К комментариях будет моя презентация по теме RAG и скоро выложу запись выступления!

Рассказывал о том как RAG меняет
правила игры в бизнесе.