Telegram Web
Рекомендую к ознакомлению канал Тенхножрицы! Лаида пишет и публикует научные статьи по картинкам, текстам, звуку и пр.

Аргументы вступить:
- канал от действующей ученой
- на канале много мемов (см. скрин, чтобы оценить процент мемных постов). Мой любимый хэштег — #ML_в_мемах
- на канале есть пост-гайд, как и где научиться машинному обучению, с разбором, какими знаниями нужно обладать, на чем писать, как искать вакансии и тд.

Полезно, чтобы не попасться в ловушку НЕЙРОСЕТОЛОГОВ и прочих ушлых ребят.

Также советую подписаться на папку людей с реальным опытом в индустрии и академии (там нет булщитеров)
7🔥2
Топ опенсорсных моделей для рол-плея 🤫

😍 gryphe/mythomax-l2-13b — модель на основе llama 2, проверенная временем. Ей уже почти год (!), а ей до сих пользуются на openrouter, и использование только растет (500M -> 2.5B токенов). И стоит всего $0.1 на вход и $0.1 на выход.

Когда в апреле вышла Llama 3, авторы модели выпустили ПЕСНЮ "Прощай МитоМакс", но моделька до сих пор жива

😳 openlynn/Llama-3-Soliloquy-8B-v1 — llama 3, обученная энтузиастами с реддита на 250М токенах ролплейных данных

🥸 neversleep/llama-3-lumimaid-8b — llama 3, можно сказать, что наследник MythoMax, потому что в команде "обучателей" есть автор митомакса. Трейн сет состоит из 12 разных источников разговорных и не только данных

👍 Sao10K/L3-8B-Stheno-v3.2 — относительно новая trending моделька с хорошими отзывами на реддите

Где находить модели? На реддите SillyTavernAI, LocalLLaMA и Рейтинг openrouter
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥5🙏1
Про новости LLM писать уже поднадоело, но вот краткое саммари анонсов последних дней:

🤖#1 OpenAI выкатил замену старой доброй GPT-3.5 Turbo — GPT-4o mini. То же, но дешевле и качественнее. Контекст 128k, поддержка языков как в большой GPT-4o, цена $0.15/$0.60 за 1M входных/выходных токенов (у 3.5 было $0.50/$1.50).

https://openai.com/index/gpt-4o-mini-advancing-cost-efficient-intelligence/

Теперь у каждого большого игрока есть большая, качественная и медленная модель + маленькая и быстрая (GPT-4o mini, Gemini Flash, Claude Haiku/Sonnet)

🐬 #2 Mistral натренировал с NVIDIA 12B Mistral NeMo. Apache 2.0 лицензия, контекст 128k, вроде как бьют Gemma 2 9B и Llama 3 8B. Ну в целом неудивительно, она и побольше на треть.

Из важного, модель мультиязычная и с function calling! Совпадает с моими ожиданиями в https://www.tgoop.com/gonzo_ML/2821.

https://mistral.ai/news/mistral-nemo/

😼 #3 Apple разродился своей опенсорсной 7B LLM под названием DCLM-7B. Из плюсов, более открытая чем некоторые благодаря открытому датасету. Но в целом непонятно что с ней делать, когда есть Llama3, Gemma2 и Qwen2.

https://x.com/_philschmid/status/1814274909775995087

🐁#4 А, да, HuggingFace выложил открытую SmolLM размерами 135M, 360M, и 1.7B для on-device инференса. Вроде как бьют Phi-1.5 и Qwen2 1.5B.

https://huggingface.co/blog/smollm
7👍2
SGLang — еще один фреймворк для сервинга LLM

Помните vLLM? Его выпустили люди, причастные к LMSYS Arena, 20 июня 2023 (чуть больше года назад!)

Тогда vLLM пришел на замену TGI от huggingface и принес PagedAttention, механизм, который эффективно работал с памятью для KV cache, что позволило увеличить throughput в несколько раз

С тех пор произошло несколько интересных моментов:
1. TGI поменял лицензию с Apache 2.0 на платную
2. vLLM стал более-менее стандартом индустрии
3. Появился новый игрок от NVIDIA — TensorRT-LLM с поддержкой FP8 и бэкендом для тритона
4. В TRT-LLM завезли KV cache reuse, который нам ускорил инференс на несколько десятков процентов
5. TGI вернули Apache 2.0 (pathetic 🤒)

В целом, во все фреймворки быстро завозили новые модели (мистраль, mixtral, phi, qwen, etc), новые фишки (cache reuse, fp8, speculative sampling, In-flight Sequence Batching, etc).

Эвристика для выбора движка была примерно такая:
🟡 Хочешь быстро и просто — используй vLLM
🟠 Хочешь очень быстро и сложно — используй TRT

Теперь у нас новый сервинг от LMSYS:
1️⃣ user-friendly
2️⃣ easily modifiable
3️⃣ top-tier performance

ТО ЕСТЬ 👆👆👆
1. Запускать можно также просто, как и vLLM
2. Все легко можно настроить и захакать, потому что все на python и в опен-сорсе
3. По скорости также, как и TRT-LLM

GitHub
Blog Post

@neural_cat
Please open Telegram to view this post
VIEW IN TELEGRAM
11🔥3👍1
FastHTML — кодим фронт на python

Jeremy Howard, любитель Jupyter Notebooks, представил новую либу для написания веб-приложений на python.

1. Определяем страницы через эндпоинты, примерно как в FastAPI
2. Через Form(), Titled(), Ul() и тд пишем, как будет выглядеть страница
3. Деплоим через команду python main.py

👊 Звучит круто, НО кажется ребята все-таки опоздали на 5 лет. Как и Pynecone, про который я писал ранее

Главная причина в том, что простое веб приложение намного быстрее написать через claude.ai, чем разбираться в непонятном синтаксисе fastht.ml. Я попробовал накидать веб аппку с помощью этого промпта. Я не знаю js, но получилось прям хорошо. Через fastht.ml я бы сидел неделю ковырял его

И на код на скрине прям тяжко смотреть. Особенно на from fasthtml.common import * (не делайте плиз так, это плохая практика)

Выводы:
1. Если хотим сделать простую демку, то юзаем gradio / streamlit
2. Если хотим написать норм приложение, то идем в claude с этим промптом (ну и учим js, товарищи!)

Сайт
Github

@neural_cat
Please open Telegram to view this post
VIEW IN TELEGRAM
👍53👎1🤔1🫡1
Нейронный Кот
SGLang — еще один фреймворк для сервинга LLM Помните vLLM? Его выпустили люди, причастные к LMSYS Arena, 20 июня 2023 (чуть больше года назад!) Тогда vLLM пришел на замену TGI от huggingface и принес PagedAttention, механизм, который эффективно работал…
Неделю назад попробовали катнуть SGLang на прод в exh.ai

Все метрики существенно просели 😟

Оказалось, что параметр repetition_penalty не был поддержан, поэтому все наши боты начали повторяться (похожие темы и сообщения в ответах)

Час назад параметр поддержали. Будем пробовать снова, потому что SRT работает и правда быстрее 😍
Please open Telegram to view this post
VIEW IN TELEGRAM
👍6🫡2
Ищу NLP Engineer к себе в команду в exh.ai

Мы все также US-based стартап (fully remote), занимаемся gen ai, делаем botify.ai, photify.ai. Продаем свои решения б2б клиентам.

Что надо будет делать:
* Разрабатывать апишку для наших б2б клиентов docs.exh.ai
* Проводить АБ тесты на новые модели для диалога в botify.ai
* Обучать, дообучать, инферить, промптить (👁), квантизовать, алайнить, оптимизировать, деплоить ллмки

Вакансия
🤵 Пишите мне @fursov

Также ищем python бэкендера и продакта. Так что тоже пишите!

UPD: уже не актуально
Please open Telegram to view this post
VIEW IN TELEGRAM
10👍2
Файн-тюн GPT-4o и GPT-4o-mini

Теперь модельки можно дообучать на своих данных.

Инференс 4о будет стоить в ~1.5 раза дороже. Мини — в 2 раза дороже. В принципе, приемлемо

Блогпост
🔥92
Правда про few-shot learning

Возможно, вы слышали, что OpenAI в 2020 в статье Language Models are Few-Shot Learners показали, что GPT-3 способна к in-context learning, если в промпте подать примеры выполнения ранее невиданной задачи.

На деле же эминем в 2004 уже применял этот подход в своих работах

YouTube
Spotify
Yandex Music

@neural_cat
2😁15🗿3🤣2
Нейронный Кот
Неделю назад попробовали катнуть SGLang на прод в exh.ai Все метрики существенно просели 😟 Оказалось, что параметр repetition_penalty не был поддержан, поэтому все наши боты начали повторяться (похожие темы и сообщения в ответах) Час назад параметр поддержали.…
SGLang на проде 😏

Но главный прикол в том, что самое большое улучшение в latency мы получили не за счет перехода на более быстрый движок для инференса, а ...

Мы переехали на сервера, которые находятся ближе к нашим пользователям! То есть переехали с европейских серверов на омериканские 🤫 До этого у всех провайдеров был shortage GPU

Так что перед тем, как заниматься оптимизацией сервисов, займитесь оптимизацией передачи данных сети, особенно если вы работаете с медиа (картинки, аудио, видео)
Please open Telegram to view this post
VIEW IN TELEGRAM
👍42🫡2
Топ 100 консьюмерских аппок по версии a16z

Раз в полгода a16z выпускают репорт по самым популярным приложениям с AI под капотом. Я прошелся по всем компаниям. Главные кейсы: 1) умные помощники 2) вселенные ботов для читчата (в основном, анимэ) 3) генераторы картинок 4) решатели домашек 5) редакторы фото-видео

🤫 Top 50 Gen AI Consumer Web Products:
1. AI Novelist - ai-novel.com
2. Blackbox AI - blackbox.ai
3. Candy.AI - candy.ai
4. Character AI - character.ai
5. Chatbot App - chatbotapp.ai
6. ChatGPT - chat.openai.com
7. ChatPDF - chatpdf.com
8. Chub.ai - chub.ai
9. Civitai - civitai.com
10. Claude - claude.ai
11. Clipchamp - clipchamp.com
12. Coze - coze.com
13. CrushOn - crushon.ai
14. Cutout.pro - cutout.pro
15. DeepAI - deepai.org
16. Doubao - doubao.com
17. ElevenLabs - elevenlabs.io
18. Gamma - gamma.app
19. Gauth - gauthmath.com
20. Hix.AI - hix.ai
21. Hugging Face - huggingface.co
22. Ideogram - ideogram.ai
23. InVideo AI - invideo.io
24. Janitor AI - janitorai.com
25. Leonardo - leonardo.ai
26. Liner - getliner.com
27. Luma - lumalabs.ai
28. MaxAI - maxai.me
29. Midjourney - midjourney.com
30. Nightcafe - creator.nightcafe.studio
31. Perplexity - perplexity.ai
32. Photoroom - photoroom.com
33. PicWish - picwish.com
34. Pixai - pixai.art
35. Pixelcut - pixelcut.ai
36. Pixlr - pixlr.com
37. Playground - playgroundai.com
38. Poe - poe.com
39. Quillbot - quillbot.com
40. SeaArt - seaart.ai
41. Speechify - speechify.com
42. Spicychat - spicychat.ai
43. Suno - suno.ai
44. Udio - udio.com
45. Veed - veed.io
46. Vidnoz - vidnoz.com
47. Viggle - viggle.ai
48. Vocal Remover - vocalremover.org
49. Yodayo - yodayo.com
50. You.com - you.com

🥚 Репорт

@neural_cat
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
4🔥41👍1😁1
Дистиляция gpt-4o и o1-preview

Openai релизнули фичу для дистиляции больших моделей в маленькие (gpt-4o-mini).

Для этого появился новый флаг в completions — store=true

Этот флаг сохраняет входы и выходы больших моделей на 30 дней, а также дает возможность смотреть и фильтровать сэмплы, чтобы отобрать наиболее качественный датасет для дистиляции. Подозреваю, что под капотом еще сохраняются логиты (или их часть), чтобы дистиляция получилась более качественной.

Кстати маленькие лламы и геммы обучались именно через дистиляцию больших собратьев, и получилось хорошо 🥸

Также теперь можно удобно валидировать дообученные модельки через evals (прямо в UI openai)

Инференс дистилированных моделек будет такой же по стоимости, как и fine-tuned моделек.

https://openai.com/index/api-model-distillation/
Please open Telegram to view this post
VIEW IN TELEGRAM
👍81
Моя первая веб аппка (telegram mini app)

Пару месяцев назад в Twitter завирусилось веб-приложение, которое анализирует твиты и делает разбор личности в стиле: «Ты похож на волка 🐺, брат. Станешь мультимиллионером с вероятностью 99%». twitter.wordware.ai — было создано на no-code платформе от YC-backed компании Wordware.

Я решил неспешно повторить нечто подобное для телеги, так как давно хотел разобраться в Telegram Mini Apps и веб-разработке. Сделал www.tgoop.com/GigoGramBot/report — тут можно ради кеков проанализировать профиль/канал/бота по публичной инфе (аватарке, имени, никнейму, bio и постам в случае каналов)

Раньше я никогда не делал production-ready веб приложений, поэтому захотел поделиться гайдом, как обычному python enjoyer-у сделать свою аппку

🔫😊🔫 Фронтенд
🟣v0
v0 умеет делать красивый дизайн, если в промпте просто указать «сделай красиво». ChatGPT и Claude хуже справляются с абстрактной задачей «сделай красиво» — у них часто получается не очень. Я же, не будучи дизайнером, не могу конкретно объяснить, что нужно улучшить (цвета, расположение, эффекты и т.д.)

От кода, полученного от v0 я, в итоге, отказался, потому что там на выходе Next.js и куча всяких файлов-папок. Мне показалось это сложным, поэтому решил упрощать

🟣 ChatGPT (GPT-4o) и Claude (3.5 Sonnet) 🥴
С их помощью я накидал основу приложения через Create React App. Получился простой репозиторий с несколькими файлами, в которых легко разобраться. И я уже мог давать конкретные комменты по дизайну из v0 и прикладывать скриншоты к промптам.

🟣 В дальнейшем я остановился на ChatGPT, так как он предполагал, что я ничего не знаю, и давал базовые советы типа: «Сначала вызови команду npm install, создай такой-то файл». Эти советы немного раздражают, когда ты опытный разработчик, но в моём случае были полезны.

🟣 С помощью Cursor разработал весь функционал приложения. Кажется, я самостоятельно написал всего несколько строчек кода. Единственное — столкнулся с тривиальной багой, которую не могли пофиксить ни Cursor, ни ChatGPT, ни Claude. Только с выходом o1-preview её удалось исправить, лол.

🟣Сами Telegram Mini Apps оказались прикольными. Достаточно добавить один JS-скрипт, и становятся доступны все методы из документации.

🟣 Деплой через Netlify. Просто подключил GitHub-репозиторий, и всё само выкатилось. Больше ничего не делал. Цена: $0.

🥸🥸🥸 Бэкенд
🔹 FastAPI
Здесь живут все эндпоинты для получения информации о юзернейме и предсказаний. Очень люблю FastAPI. Если вы ещё на Flask, то пора переходить!

🔹 Redis в качестве единственной БД
Возможно, это не самое логичное решение, зато супер просто и быстро! У меня всего две операции: получить информацию по юзернейму или сохранить её.

🔹 Python Telegram Bot
На этом фреймворке написан сам бот. В принципе, можно было бы и без бота, но для оплат нужен сервис, который отвечает на pre-checkout запросы. С помощью этого фреймворка такой сервис сделать очень просто

🔹 Сервер
Арендовал Droplet на DigitalOcean, там же задеплоил приложение. Redis поднял через их Databases. Цена: $30/месяц за всё.

🔹 Оказалось, что сервера DigitalOcean заблокированы в РФ, поэтому подключил Cloudflare DNS + Proxy. Цена: $0.

🙂🙂🙂 AI часть
🟣 Написал пару функций, которые парсят доступную публичную информацию о пользователе или канале по юзернейму.

🟣Промпт скопировал у twitter.wordware.ai — у них можно форкнуть агента и посмотреть внутренности. Немного подкорректировал его, чтобы лучше работал для Telegram.

🟣 Использую GPT-4o с включенными Vision Capabilities и Structured Outputs. Эту фичу я больше всего люблю в современных ллм-системах. По сути, нужно задать pydantic модель (см. скрин) и она у тебя будет на выходе запроса (sic!) Цена: ~$0.1 за генерацию.

Короче, попробуйте потыкать аппку (там 3 предсказания бесплатно), а я отвечу на любые вопросы про реализацию.

🤪 https://www.tgoop.com/GigoGramBot/report
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥20👏21👍1
Теперь не круто пользоваться poetry. Пользуемся uv или requirements.txt 😏
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
5
Почему в API sonnet 3.5 до сих пор нет structured outputs? 🔪 (это когда ты говоришь, какая JSON схема тебе нужна на выходе)

Они советуют заниматься какими-то дурацкими трюками, чтобы консистентность ответа повысить

1. Очень сильно попросить в промпте, какая схема тебе нужна
2. Добавить few-shot примеры
3. Сделать prefill ответа ассистента (это ты первые токены json-а сам пишешь)

https://docs.anthropic.com/en/docs/test-and-evaluate/strengthen-guardrails/increase-consistency
Please open Telegram to view this post
VIEW IN TELEGRAM
😁5👍2🗿1
2025/10/21 00:38:28
Back to Top
HTML Embed Code: