🚀 Как построить LLM-микросервис

🗺️ Ситуация — короткий пролог

Нац-парк расставил 600 камер. Каждую ночь сыпятся сотни тысяч кадров.
Люди: 3 стажёра, 400 снимков в час, precision 0.90, recall 0.55. Устают, ошибаются.
Цель: автоматизировать так, чтобы, при сравнимом precision (когда мы сказали что зверь на фото есть, он там правда был) обнаруживать больше зверей на снимках (увеличить recall).

Как построить LLM-микросервис, который справится с этой задачей за секунды и будет стоит дешевле одной ночной пицца-парти?

🔧 Три слоя, которые делают магию

1️⃣ Инструкции — «толстый мануал на одной руке»

Мы хотим справиться с этой задачей в режиме Zero-shot ➜ значит все правила должны жить в system-prompt. Давайте разберем структуру:

ROLE: Полевой биолог-инспектор.
ЗАДАЧА: классифицировать кадр как "none" или определить животное
ФОРМАТ:

JSON { “reasoning”: str, "label": str }



ПРАВИЛА:
1. Human.
Вертикальный силуэт + двуногая походка или «неприродные» формы/цвета → метка human.
2. Elk vs Boar.
• Есть лопатообразные рога, «борода»-bell или характерный «горб» холке → elk.
• Узкая клинообразная морда, коренастое тёмное тело, поросячьи полосы → boar.
3. Unknown-фильтр.
Если объект < 30 % кадра, детали размыты/в тени → unknown.

2️⃣ Контекст — актуальная микро-порция данных

Для каждого кадра в prompt попадают:
• EXIF-метки (дата, время, температура).
• Три последних события на этой камере.
• Сезонный список активных видов для региона.

3️⃣ Предсказание + проверка
1. LLM выдаёт JSON.
2. Скрипт-валидатор: формат? сумма правил?
3. Если что-то не так ➜ второй прогон.

Если все сделали правильно получаем precision 0.95, recall 0.89.

✏️ Чек-лист

– Мануал покрывает все edge-кейсы?
– В prompt попадают ровно нужные фичи?
– Есть автоматический ретрай с лимитом ≤3?
– Precision / recall считаются в проде, а не в «потом посмотрим»?

Это пример игрушечный, но вполне применим для почти любой бизнес задачи. А какую задачу в вашем проекте вы бы доверили LLM-микросервису первой?