История одного разочарования. Начну издалека

Я человек простой и люблю все, что облегчает поиск проблем - дебагеры всякие, логирование

А вот когда ллм агентов писал, чувствовал, что не хватает прозрачности в происходящих вызовах моделей. Стал, значит, искать

Сначала я увидел langsmith. Подумал, какая клёвая штука! Хочу такую же, но чтобы можно было в селфхост. Сам не знаю почему, но нагуглил Lunary. В репе написано - Designed to be self-hostable. То, что надо. Но сначала стал пользоваться веб-версией 🌝

В какой-то момент упёрся лимит в 3 проекта на бесплатном аккаунте и стал смотреть, как развернуть. А там в документации...

docker run -e LICENSE_KEY="<your_license_key>" 😂

Мораль - доверяй, но проверяй

В итоге перешёл на Langfuse, который не пожалел докер контейнеров для нас (раскатку протестил, все работает)

#tool

Америку не открою, но Polars меня очень удивил и порадовал. Это который быстрая замена pandas (не удивлен, что написан на rust)

С pandas я умирал с чтением и джоином табличек в пару десятков миллионов строк. А тут вжух. Еще и документация приятная. Мне даже не приходится чатгпт использовать

В общем, советую попробовать, если еще нет

#tool

Слушайте, а неплохой этот ваш vLLM для сервинга llm и vllm

Нужно было поднять мой джентельменский набор из qwen2-vl и florence2. Получилось почти без боли

Есть готовый запуск с докера

У меня, чуток устаревшие драйвера видеокарты 🫠, и докер не завелся. Кажись, тут можно поменять версию куды, но не хотел ждать сборку. Поставил в весьма венв с помощью uv (чтобы нормально зависимости зарезолвилсиь), и всё заработало

Вообще там куча оптимизаций (всякие кеши), а также квантизация. Выглядит здорово

#tool

Гениальный плейлист про линейную алгебру с канала 3Blue1Brown. Автор очень понятно, а главное интуитивно объясняет базу

Будет полезно и тем, кто подзабыл это с университета, и тем, у кого вообще такого предмета не было

#course

Набор жуптеров с рецептами файнтюна и не только от 🤗

Из интересного - там есть файнтьюн Qwen2VL и раг на нем же с ColPali

А ещё прикольно, что везде трансформеры - тюнят детектор DETR и сегментатор Segformer

Наткнулся на плейлист Multimodal Weekly

Ребята раз в неделю разбирают статьи с мультимодальными сетками. Темы, действительно, разнообразные - Text, Video, Speech

#playlist

Улыбнуло, когда увидел на реддите компиляцию нововведений в йоло. Как по мне, слишком поверхностно, чтобы быть полезной

Но зато я сделал вам мем 🗿

Хайп NLP не обходит стороной и time series

Там уже во всю прикручивают LM и даже LLM. Цель - сделать универсальную модель, которую один раз предобучил, и она будет хорошо работать на ваших данных без дообучения. Ты ей исторические данные, а она тебе будущее. Такой сетап называют Zero-shot

Потыкал хайповую модель Chronos

Основная идея - минимальными усилиями сделать так, чтобы можно было учить обычные трансформеры из NLP. Ведь и тут и там по последовательности предсказывается следующее значение. Нужно лишь перейти от непрерывных к дискретным данным.

Собственно переход простой. Авторы просто нормализуют и затем квантуют все значения. Например, 4.5 -> 5, 6.3 -> 5, 7.4 -> 8

А дальше классика - собрать побольше данных. Ребята аугментировали имеющиеся датасеты (TSMixup) и нагенерировали синтетических (KernelSynth)

Чтобы получить предсказания - делаем несколько версий будущего (разница в них будет из-за вероятностного семплинга следующего токена) и усредняем

Из плюсов - реально неплохо работает, когда достаточно большой контекст
Из минусов - это довольно большой трансформер ~100млн параметров (но там есть и tiny версия)

Хороший такой, легкий видосик по устройству питона.

Судя по описанию - это TLDR книги Мэтта Харрисона "Как устроен Python".

Тут по верхам - объекты, хранение их в памяти и ссылки на них, изменяемые и неизменыемые типы, работа с файлами, пространства имен.

Будет полезен, если не читали ничего про питон или хотите освежить базу

Там вышел тренажер SQL в стилистике сериала "Игра в Кальмара"

Приколько потыкать. Вроде отзывчиво и бесплатно 😁

Также мне нравится вот этот тренажер. Тут должно быть поболее тем и заданий

UPD. В комментариях подсказали еще тренажер в детективном стиле

Если вдруг еще не пользовались https://chat.deepseek.com/, то попробуйте!

Качество ответов +- как у чатгпт, но не надо впн, и быстрее печатает. Также можно включить режим рассуждения. Я просил сеточку найти одинаковые элементы в массиве из 100 чисел. Получилось! (мне правда надо было найти, где у меня там закрались два одинаковых элемента, а питон было не охота открывать)

Вообще у меня прижилось два сценария использования - кодинг и учеба. Для второго вообще мастхев. Спрашиваю тлдр всех технологий, с которыми сталкиваюсь

Китайцы порадовали. Желаю каждому причастному - по 🍚 и 🐈👱‍♀️

TLDR доклада "Как в яндексе делают ранжирование нейросетками в RecSys?"

1. Категориальные фичи кодируют эмбедингами
2. Вещественные фичи нормализуют / делают улучшенную бинаризацию (называют кусочно-линейным кодированием)
3. Используют один слой DCN, чтобы моделировать комбинации признаков
4. Затем 5 MLP слоев и дропаут
5. Добавляют на вход фичи с других моделей по пользователю (например, у них есть трансформер, который делает вектор пользователя по его истории)
6. Делаю несколько голов на несколько действий пользователя (клик, просмотр и тд.)
7. Кормят много данных с большим бачсайзом
8. Лосс на попарное ранжирование (сигмоида от разности логитов двух айтемов)

Ни для кого не секрет, что лекции Карпатого - это концентрат знаний

Сегодня на обзоре Deep Dive into LLMs like ChatGPT (обзор на лекцию, реально?!)

О чем?
Из каких строительных блоков состоит LLM, и как ее учат, чтобы получит чат-асистента

Что показалось мне интересным:

1. Андрей разбирает, почему есть "глупые ошибки"
- "Сколько r в strawberry?" - потому что токенизация по токенам, а не по буквам
- "Что больше 9.11 или 9.9?" - что модель путают библейские тексты, в которых 9.11 идет позже 9.9
- "Кто тебя создал?" - в модели этого нет (если не заложить), потому что она умеет только продолжать тексты
2. Откуда берутся галлюцинации, и как можно с ними бороться
- Почему галлюцинации - потому что модели раньше не учили говорить "я не знаю". Тут на SFT этапе нужно найти вопросы, на которые модель не знает ответов, и сделать для них ответ - "я не знаю"
- Можно научить модель гуглить в случаях, когда она не знает ответ
3. Объяснил идею DeepSeek R1
4. Поделился, как следит за прогрессом в LLM
- lmarena
- ainews рассылка
- X(twitter)

Определенно будет вам полезно, если не супер погружены в LLM движуху

Слышали про прокси по ssh? А он есть - sshuttle

Буквально, имеете удаленную тачку с доступом по ssh, ставите на свою тачку sshuttle и поднимаете прокси одной командой

Также в качестве удаленной тачки можно юзать Pod в кубере (а что, а вдруг)

Вот и до меня дошла очередь поиграться с text2sql

Как человек ленивый и все еще не вайбокодящий, я решил поискать готовых библиотек

Встречайте - 🛁. Буквально vanna

Из прикольного:
1. Запустилось (с gpt4o-mini полет нормальный)
2. Есть красивый фронт из коробки
3. "Самообучаемый" - можно добавлять в память успешно выполненные SQL вместе с запросами пользователей

Из грустного:
1. Без пачки рукописных примеров и таблички с описанием колонок в таблиц ничего не работало. Хоть и я добавлял описания таблиц по примеру. Постоянно падало из-за того, что sql игнорирует регистр, а названия таблиц не были заключены в скобки
2. Почему-то в функции ask, которая является точкой входа для запроса нет автоисправления запроса (когда показываешь ошику выполнения ллм, чтобы она исправила). В то же время во фронте это у них есть
3. Зачем-то захардкодили anonymized_telemetry=False (тут) в коннекторе к chromadb 🤔

А вообще мне понравилось. Для пет-проекта сойдет

#tool

Сейчас много шума вокруг MCP (Model Context Protocol). Разберемся, что и зачем

Если коротко, то это крепкий подход к унификации взаимодействия LLM с внешними инструментами

Почему это хорошо:
- Теперь можно не писать велосипеды, подключая, скажем, postgres или поиск в гугл, а взять готовую реализацию (например, тут)
- Станет легче дружить между собой клиентов и сервера. Уже сейчас взрыв имплементации серверов и клиентов
- Наверняка, это доедет в обучение моделей, и они уже из коробки будут знать, какая схема вызова и ответа у популярных инструментов

Подробнее про Model Context Protocol
- разработали Anthropic
- определяет сервер (который предоставляет API к данным и инструментам) и клиента (который может обращаться к серверу, используя протокол MCP)
- LLM видит описания схемы запроса к серверу, и может им пользоваться
- сервер может предоставлять
- tools (дает LLM выполнить какое-то действие)
- resources (дает доступ к данным)
- sampling (ответы от LLM)
- prompts (переиспользуемые промпты)
- не привязан к языку (также, как HTTP запрос можно сделать хоть с ассемблера)

Немногие знают, но стандартизация сделала из обезьяны человека 🔧
Интересно, что же она сделает из LLM 🤔

Нашел кайфовый генератор листов бумаги через блендер

Пригодится, например, для ситетических OCR данных. Вроде может сохранить bbox-ы

Чтобы было проще его понять, вот что я выяснил:
1. В примере текст - psd файл. Это не обязательно, работает и с png
2. Основные настройки:
- config.camera.relative_camera_distance - приближает/отдаляет листок
- config.camera.orbit=(a, b) - меняет позицию камеры относительно листка
- a - угол наклона к нормали (а = 30, значит угол наклона камеры - 70 градусов к столу)
- b - позиция камеры (0 смотрим на бумажку снизу, b = 90 - смотрм справа, b = 180 - смотрим сверху и тд)
- sample.ground.visible - включить/выключить подложку
- sample.ground.texture_path_base - путь до текстуры подложки. Можно скачать новых, например, тут

Горячо рекомендую

#tool@yet_another_mle

у вас такое бывало, когда в очередной раз столкнувшись с чем-то неработающим в сети, ты обещаешь себе изучить их? Узнали?

так вот после секции вайбдебагинга я честно покопал DNS:
1. Посмотрел легендарного курс по сетям Андрея Созыкина. Он теперь свежий - три месяца назад снят. 18-24 видео
2. Поболтал с Клодом
3. Проделал практику из видео (вот это прям мастхев. Итеративный режим звучит просто, а сам я его не с первого раза руками сделал)

Теперь хоть понимаю выход команды dig 😅

А лекции по сетям от Андрея горячо советую

Полезная статейка о использовании блендера для синтетики вдогонку к посту о генерилке синтетических листков

Если в первом случае все управлялось конфигами, то тут уже напрямую питоном

Вообще там много интересных статей в блоге DeepSchool (не реклама 🙂)