Рекомендую к ознакомлению канал Тенхножрицы! Лаида пишет и публикует научные статьи по картинкам, текстам, звуку и пр.
Аргументы вступить:
- канал от действующей ученой
- на канале много мемов (см. скрин, чтобы оценить процент мемных постов). Мой любимый хэштег — #ML_в_мемах
- на канале есть пост-гайд, как и где научиться машинному обучению, с разбором, какими знаниями нужно обладать, на чем писать, как искать вакансии и тд.
Полезно, чтобы не попасться в ловушку НЕЙРОСЕТОЛОГОВ и прочих ушлых ребят.
Также советую подписаться на папку людей с реальным опытом в индустрии и академии (там нет булщитеров)
Аргументы вступить:
- канал от действующей ученой
- на канале много мемов (см. скрин, чтобы оценить процент мемных постов). Мой любимый хэштег — #ML_в_мемах
- на канале есть пост-гайд, как и где научиться машинному обучению, с разбором, какими знаниями нужно обладать, на чем писать, как искать вакансии и тд.
Полезно, чтобы не попасться в ловушку НЕЙРОСЕТОЛОГОВ и прочих ушлых ребят.
Также советую подписаться на папку людей с реальным опытом в индустрии и академии (там нет булщитеров)
❤7🔥2
Топ опенсорсных моделей для рол-плея 🤫
😍 gryphe/mythomax-l2-13b — модель на основе llama 2, проверенная временем. Ей уже почти год (!), а ей до сих пользуются на openrouter, и использование только растет (500M -> 2.5B токенов). И стоит всего $0.1 на вход и $0.1 на выход.
Когда в апреле вышла Llama 3, авторы модели выпустили ПЕСНЮ "Прощай МитоМакс", но моделька до сих пор жива
😳 openlynn/Llama-3-Soliloquy-8B-v1 — llama 3, обученная энтузиастами с реддита на 250М токенах ролплейных данных
🥸 neversleep/llama-3-lumimaid-8b — llama 3, можно сказать, что наследник MythoMax, потому что в команде "обучателей" есть автор митомакса. Трейн сет состоит из 12 разных источников разговорных и не только данных
👍 Sao10K/L3-8B-Stheno-v3.2 — относительно новая trending моделька с хорошими отзывами на реддите
Где находить модели? На реддите SillyTavernAI, LocalLLaMA и Рейтинг openrouter
Когда в апреле вышла Llama 3, авторы модели выпустили ПЕСНЮ "Прощай МитоМакс", но моделька до сих пор жива
Где находить модели? На реддите SillyTavernAI, LocalLLaMA и Рейтинг openrouter
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥5🙏1
Forwarded from gonzo-обзоры ML статей
Про новости LLM писать уже поднадоело, но вот краткое саммари анонсов последних дней:
🤖#1 OpenAI выкатил замену старой доброй GPT-3.5 Turbo — GPT-4o mini. То же, но дешевле и качественнее. Контекст 128k, поддержка языков как в большой GPT-4o, цена $0.15/$0.60 за 1M входных/выходных токенов (у 3.5 было $0.50/$1.50).
https://openai.com/index/gpt-4o-mini-advancing-cost-efficient-intelligence/
Теперь у каждого большого игрока есть большая, качественная и медленная модель + маленькая и быстрая (GPT-4o mini, Gemini Flash, Claude Haiku/Sonnet)
🐬 #2 Mistral натренировал с NVIDIA 12B Mistral NeMo. Apache 2.0 лицензия, контекст 128k, вроде как бьют Gemma 2 9B и Llama 3 8B. Ну в целом неудивительно, она и побольше на треть.
Из важного, модель мультиязычная и с function calling! Совпадает с моими ожиданиями в https://www.tgoop.com/gonzo_ML/2821.
https://mistral.ai/news/mistral-nemo/
😼 #3 Apple разродился своей опенсорсной 7B LLM под названием DCLM-7B. Из плюсов, более открытая чем некоторые благодаря открытому датасету. Но в целом непонятно что с ней делать, когда есть Llama3, Gemma2 и Qwen2.
https://x.com/_philschmid/status/1814274909775995087
🐁#4 А, да, HuggingFace выложил открытую SmolLM размерами 135M, 360M, и 1.7B для on-device инференса. Вроде как бьют Phi-1.5 и Qwen2 1.5B.
https://huggingface.co/blog/smollm
🤖#1 OpenAI выкатил замену старой доброй GPT-3.5 Turbo — GPT-4o mini. То же, но дешевле и качественнее. Контекст 128k, поддержка языков как в большой GPT-4o, цена $0.15/$0.60 за 1M входных/выходных токенов (у 3.5 было $0.50/$1.50).
https://openai.com/index/gpt-4o-mini-advancing-cost-efficient-intelligence/
Теперь у каждого большого игрока есть большая, качественная и медленная модель + маленькая и быстрая (GPT-4o mini, Gemini Flash, Claude Haiku/Sonnet)
🐬 #2 Mistral натренировал с NVIDIA 12B Mistral NeMo. Apache 2.0 лицензия, контекст 128k, вроде как бьют Gemma 2 9B и Llama 3 8B. Ну в целом неудивительно, она и побольше на треть.
Из важного, модель мультиязычная и с function calling! Совпадает с моими ожиданиями в https://www.tgoop.com/gonzo_ML/2821.
https://mistral.ai/news/mistral-nemo/
😼 #3 Apple разродился своей опенсорсной 7B LLM под названием DCLM-7B. Из плюсов, более открытая чем некоторые благодаря открытому датасету. Но в целом непонятно что с ней делать, когда есть Llama3, Gemma2 и Qwen2.
https://x.com/_philschmid/status/1814274909775995087
🐁#4 А, да, HuggingFace выложил открытую SmolLM размерами 135M, 360M, и 1.7B для on-device инференса. Вроде как бьют Phi-1.5 и Qwen2 1.5B.
https://huggingface.co/blog/smollm
Openai
GPT-4o mini: advancing cost-efficient intelligence
Introducing the most cost-efficient small model in the market
❤7👍2
SGLang — еще один фреймворк для сервинга LLM
Помните vLLM? Его выпустили люди, причастные к LMSYS Arena, 20 июня 2023 (чуть больше года назад!)
Тогда vLLM пришел на замену TGI от huggingface и принес PagedAttention, механизм, который эффективно работал с памятью для KV cache, что позволило увеличить throughput в несколько раз
С тех пор произошло несколько интересных моментов:
1. TGI поменял лицензию с Apache 2.0 на платную
2. vLLM стал более-менее стандартом индустрии
3. Появился новый игрок от NVIDIA — TensorRT-LLM с поддержкой FP8 и бэкендом для тритона
4. В TRT-LLM завезли KV cache reuse, который нам ускорил инференс на несколько десятков процентов
5. TGI вернули Apache 2.0 (pathetic🤒 )
В целом, во все фреймворки быстро завозили новые модели (мистраль, mixtral, phi, qwen, etc), новые фишки (cache reuse, fp8, speculative sampling, In-flight Sequence Batching, etc).
Эвристика для выбора движка была примерно такая:
🟡 Хочешь быстро и просто — используй vLLM
🟠 Хочешь очень быстро и сложно — используй TRT
Теперь у нас новый сервинг от LMSYS:
1️⃣ user-friendly
2️⃣ easily modifiable
3️⃣ top-tier performance
ТО ЕСТЬ👆 👆 👆
1. Запускать можно также просто, как и vLLM
2. Все легко можно настроить и захакать, потому что все на python и в опен-сорсе
3. По скорости также, как и TRT-LLM
GitHub
Blog Post
@neural_cat
Помните vLLM? Его выпустили люди, причастные к LMSYS Arena, 20 июня 2023 (чуть больше года назад!)
Тогда vLLM пришел на замену TGI от huggingface и принес PagedAttention, механизм, который эффективно работал с памятью для KV cache, что позволило увеличить throughput в несколько раз
С тех пор произошло несколько интересных моментов:
1. TGI поменял лицензию с Apache 2.0 на платную
2. vLLM стал более-менее стандартом индустрии
3. Появился новый игрок от NVIDIA — TensorRT-LLM с поддержкой FP8 и бэкендом для тритона
4. В TRT-LLM завезли KV cache reuse, который нам ускорил инференс на несколько десятков процентов
5. TGI вернули Apache 2.0 (pathetic
В целом, во все фреймворки быстро завозили новые модели (мистраль, mixtral, phi, qwen, etc), новые фишки (cache reuse, fp8, speculative sampling, In-flight Sequence Batching, etc).
Эвристика для выбора движка была примерно такая:
🟡 Хочешь быстро и просто — используй vLLM
🟠 Хочешь очень быстро и сложно — используй TRT
Теперь у нас новый сервинг от LMSYS:
1️⃣ user-friendly
2️⃣ easily modifiable
3️⃣ top-tier performance
ТО ЕСТЬ
1. Запускать можно также просто, как и vLLM
2. Все легко можно настроить и захакать, потому что все на python и в опен-сорсе
3. По скорости также, как и TRT-LLM
GitHub
Blog Post
@neural_cat
Please open Telegram to view this post
VIEW IN TELEGRAM
❤11🔥3👍1
FastHTML — кодим фронт на python
Jeremy Howard, любитель Jupyter Notebooks, представил новую либу для написания веб-приложений на python.
1. Определяем страницы через эндпоинты, примерно как в FastAPI
2. Через Form(), Titled(), Ul() и тд пишем, как будет выглядеть страница
3. Деплоим через команду
👊 Звучит круто, НО кажется ребята все-таки опоздали на 5 лет. Как и Pynecone, про который я писал ранее
Главная причина в том, что простое веб приложение намного быстрее написать через claude.ai, чем разбираться в непонятном синтаксисе fastht.ml. Я попробовал накидать веб аппку с помощью этого промпта. Я не знаю js, но получилось прям хорошо. Через fastht.ml я бы сидел неделю ковырял его
И на код на скрине прям тяжко смотреть. Особенно на
Выводы:
1. Если хотим сделать простую демку, то юзаем gradio / streamlit
2. Если хотим написать норм приложение, то идем в claude с этим промптом (ну и учим js, товарищи!)
Сайт
Github
@neural_cat
Jeremy Howard, любитель Jupyter Notebooks, представил новую либу для написания веб-приложений на python.
1. Определяем страницы через эндпоинты, примерно как в FastAPI
2. Через Form(), Titled(), Ul() и тд пишем, как будет выглядеть страница
3. Деплоим через команду
python main.py
Главная причина в том, что простое веб приложение намного быстрее написать через claude.ai, чем разбираться в непонятном синтаксисе fastht.ml. Я попробовал накидать веб аппку с помощью этого промпта. Я не знаю js, но получилось прям хорошо. Через fastht.ml я бы сидел неделю ковырял его
И на код на скрине прям тяжко смотреть. Особенно на
from fasthtml.common import *
(не делайте плиз так, это плохая практика)Выводы:
1. Если хотим сделать простую демку, то юзаем gradio / streamlit
2. Если хотим написать норм приложение, то идем в claude с этим промптом (ну и учим js, товарищи!)
Сайт
Github
@neural_cat
Please open Telegram to view this post
VIEW IN TELEGRAM
👍5❤3👎1🤔1🫡1
Нейронный Кот
SGLang — еще один фреймворк для сервинга LLM Помните vLLM? Его выпустили люди, причастные к LMSYS Arena, 20 июня 2023 (чуть больше года назад!) Тогда vLLM пришел на замену TGI от huggingface и принес PagedAttention, механизм, который эффективно работал…
Неделю назад попробовали катнуть SGLang на прод в exh.ai
Все метрики существенно просели😟
Оказалось, что параметр
Час назад параметр поддержали. Будем пробовать снова, потому что SRT работает и правда быстрее😍
Все метрики существенно просели
Оказалось, что параметр
repetition_penalty
не был поддержан, поэтому все наши боты начали повторяться (похожие темы и сообщения в ответах)Час назад параметр поддержали. Будем пробовать снова, потому что SRT работает и правда быстрее
Please open Telegram to view this post
VIEW IN TELEGRAM
👍6🫡2
Ищу NLP Engineer к себе в команду в exh.ai
Мы все также US-based стартап (fully remote), занимаемся gen ai, делаем botify.ai, photify.ai. Продаем свои решения б2б клиентам.
Что надо будет делать:
* Разрабатывать апишку для наших б2б клиентов docs.exh.ai
* Проводить АБ тесты на новые модели для диалога в botify.ai
* Обучать, дообучать, инферить, промптить (👁 ), квантизовать, алайнить, оптимизировать, деплоить ллмки
⌨ Вакансия
🤵 Пишите мне @fursov
Также ищем python бэкендера и продакта. Так что тоже пишите!
UPD: уже не актуально
Мы все также US-based стартап (fully remote), занимаемся gen ai, делаем botify.ai, photify.ai. Продаем свои решения б2б клиентам.
Что надо будет делать:
* Разрабатывать апишку для наших б2б клиентов docs.exh.ai
* Проводить АБ тесты на новые модели для диалога в botify.ai
* Обучать, дообучать, инферить, промптить (
Также ищем python бэкендера и продакта. Так что тоже пишите!
UPD: уже не актуально
Please open Telegram to view this post
VIEW IN TELEGRAM
❤10👍2
Файн-тюн GPT-4o и GPT-4o-mini
Теперь модельки можно дообучать на своих данных.
Инференс 4о будет стоить в ~1.5 раза дороже. Мини — в 2 раза дороже. В принципе, приемлемо
Блогпост
Теперь модельки можно дообучать на своих данных.
Инференс 4о будет стоить в ~1.5 раза дороже. Мини — в 2 раза дороже. В принципе, приемлемо
Блогпост
🔥9❤2
Правда про few-shot learning
Возможно, вы слышали, что OpenAI в 2020 в статье Language Models are Few-Shot Learners показали, что GPT-3 способна к in-context learning, если в промпте подать примеры выполнения ранее невиданной задачи.
На деле же эминем в 2004 уже применял этот подход в своих работах
YouTube
Spotify
Yandex Music
@neural_cat
Возможно, вы слышали, что OpenAI в 2020 в статье Language Models are Few-Shot Learners показали, что GPT-3 способна к in-context learning, если в промпте подать примеры выполнения ранее невиданной задачи.
На деле же эминем в 2004 уже применял этот подход в своих работах
YouTube
Spotify
Yandex Music
@neural_cat
2😁15🗿3🤣2
Нейронный Кот
Неделю назад попробовали катнуть SGLang на прод в exh.ai Все метрики существенно просели 😟 Оказалось, что параметр repetition_penalty не был поддержан, поэтому все наши боты начали повторяться (похожие темы и сообщения в ответах) Час назад параметр поддержали.…
SGLang на проде 😏
Но главный прикол в том, что самое большое улучшение в latency мы получили не за счет перехода на более быстрый движок для инференса, а ...
Мы переехали на сервера, которые находятся ближе к нашим пользователям! То есть переехали с европейских серверов на омериканские🤫 До этого у всех провайдеров был shortage GPU
Так что перед тем, как заниматься оптимизацией сервисов, займитесь оптимизацией передачи данных сети, особенно если вы работаете с медиа (картинки, аудио, видео)
Но главный прикол в том, что самое большое улучшение в latency мы получили не за счет перехода на более быстрый движок для инференса, а ...
Мы переехали на сервера, которые находятся ближе к нашим пользователям! То есть переехали с европейских серверов на омериканские
Так что перед тем, как заниматься оптимизацией сервисов, займитесь оптимизацией передачи данных сети, особенно если вы работаете с медиа (картинки, аудио, видео)
Please open Telegram to view this post
VIEW IN TELEGRAM
👍4❤2🫡2
Топ 100 консьюмерских аппок по версии a16z
Раз в полгода a16z выпускают репорт по самым популярным приложениям с AI под капотом. Я прошелся по всем компаниям. Главные кейсы: 1) умные помощники 2) вселенные ботов для читчата (в основном, анимэ) 3) генераторы картинок 4) решатели домашек 5) редакторы фото-видео
🤫 Top 50 Gen AI Consumer Web Products:
1. AI Novelist - ai-novel.com
2. Blackbox AI - blackbox.ai
3. Candy.AI - candy.ai
4. Character AI - character.ai
5. Chatbot App - chatbotapp.ai
6. ChatGPT - chat.openai.com
7. ChatPDF - chatpdf.com
8. Chub.ai - chub.ai
9. Civitai - civitai.com
10. Claude - claude.ai
11. Clipchamp - clipchamp.com
12. Coze - coze.com
13. CrushOn - crushon.ai
14. Cutout.pro - cutout.pro
15. DeepAI - deepai.org
16. Doubao - doubao.com
17. ElevenLabs - elevenlabs.io
18. Gamma - gamma.app
19. Gauth - gauthmath.com
20. Hix.AI - hix.ai
21. Hugging Face - huggingface.co
22. Ideogram - ideogram.ai
23. InVideo AI - invideo.io
24. Janitor AI - janitorai.com
25. Leonardo - leonardo.ai
26. Liner - getliner.com
27. Luma - lumalabs.ai
28. MaxAI - maxai.me
29. Midjourney - midjourney.com
30. Nightcafe - creator.nightcafe.studio
31. Perplexity - perplexity.ai
32. Photoroom - photoroom.com
33. PicWish - picwish.com
34. Pixai - pixai.art
35. Pixelcut - pixelcut.ai
36. Pixlr - pixlr.com
37. Playground - playgroundai.com
38. Poe - poe.com
39. Quillbot - quillbot.com
40. SeaArt - seaart.ai
41. Speechify - speechify.com
42. Spicychat - spicychat.ai
43. Suno - suno.ai
44. Udio - udio.com
45. Veed - veed.io
46. Vidnoz - vidnoz.com
47. Viggle - viggle.ai
48. Vocal Remover - vocalremover.org
49. Yodayo - yodayo.com
50. You.com - you.com
🥚 Репорт
@neural_cat
Раз в полгода a16z выпускают репорт по самым популярным приложениям с AI под капотом. Я прошелся по всем компаниям. Главные кейсы: 1) умные помощники 2) вселенные ботов для читчата (в основном, анимэ) 3) генераторы картинок 4) решатели домашек 5) редакторы фото-видео
1. AI Novelist - ai-novel.com
2. Blackbox AI - blackbox.ai
3. Candy.AI - candy.ai
4. Character AI - character.ai
5. Chatbot App - chatbotapp.ai
6. ChatGPT - chat.openai.com
7. ChatPDF - chatpdf.com
8. Chub.ai - chub.ai
9. Civitai - civitai.com
10. Claude - claude.ai
11. Clipchamp - clipchamp.com
12. Coze - coze.com
13. CrushOn - crushon.ai
14. Cutout.pro - cutout.pro
15. DeepAI - deepai.org
16. Doubao - doubao.com
17. ElevenLabs - elevenlabs.io
18. Gamma - gamma.app
19. Gauth - gauthmath.com
20. Hix.AI - hix.ai
21. Hugging Face - huggingface.co
22. Ideogram - ideogram.ai
23. InVideo AI - invideo.io
24. Janitor AI - janitorai.com
25. Leonardo - leonardo.ai
26. Liner - getliner.com
27. Luma - lumalabs.ai
28. MaxAI - maxai.me
29. Midjourney - midjourney.com
30. Nightcafe - creator.nightcafe.studio
31. Perplexity - perplexity.ai
32. Photoroom - photoroom.com
33. PicWish - picwish.com
34. Pixai - pixai.art
35. Pixelcut - pixelcut.ai
36. Pixlr - pixlr.com
37. Playground - playgroundai.com
38. Poe - poe.com
39. Quillbot - quillbot.com
40. SeaArt - seaart.ai
41. Speechify - speechify.com
42. Spicychat - spicychat.ai
43. Suno - suno.ai
44. Udio - udio.com
45. Veed - veed.io
46. Vidnoz - vidnoz.com
47. Viggle - viggle.ai
48. Vocal Remover - vocalremover.org
49. Yodayo - yodayo.com
50. You.com - you.com
@neural_cat
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
✍4🔥4❤1👍1😁1
Дистиляция gpt-4o и o1-preview
Openai релизнули фичу для дистиляции больших моделей в маленькие (gpt-4o-mini).
Для этого появился новый флаг в completions —
Этот флаг сохраняет входы и выходы больших моделей на 30 дней, а также дает возможность смотреть и фильтровать сэмплы, чтобы отобрать наиболее качественный датасет для дистиляции. Подозреваю, что под капотом еще сохраняются логиты (или их часть), чтобы дистиляция получилась более качественной.
Кстати маленькие лламы и геммы обучались именно через дистиляцию больших собратьев, и получилось хорошо🥸
Также теперь можно удобно валидировать дообученные модельки через evals (прямо в UI openai)
Инференс дистилированных моделек будет такой же по стоимости, как и fine-tuned моделек.
https://openai.com/index/api-model-distillation/
Openai релизнули фичу для дистиляции больших моделей в маленькие (gpt-4o-mini).
Для этого появился новый флаг в completions —
store=true
Этот флаг сохраняет входы и выходы больших моделей на 30 дней, а также дает возможность смотреть и фильтровать сэмплы, чтобы отобрать наиболее качественный датасет для дистиляции. Подозреваю, что под капотом еще сохраняются логиты (или их часть), чтобы дистиляция получилась более качественной.
Кстати маленькие лламы и геммы обучались именно через дистиляцию больших собратьев, и получилось хорошо
Также теперь можно удобно валидировать дообученные модельки через evals (прямо в UI openai)
Инференс дистилированных моделек будет такой же по стоимости, как и fine-tuned моделек.
https://openai.com/index/api-model-distillation/
Please open Telegram to view this post
VIEW IN TELEGRAM
Openai
Model Distillation in the API
Fine-tune a cost-efficient model with the outputs of a large frontier model–all on the OpenAI platform
👍8❤1
Моя первая веб аппка (telegram mini app)
Пару месяцев назад в Twitter завирусилось веб-приложение, которое анализирует твиты и делает разбор личности в стиле: «Ты похож на волка 🐺, брат. Станешь мультимиллионером с вероятностью 99%». twitter.wordware.ai — было создано на no-code платформе от YC-backed компании Wordware.
Я решил неспешно повторить нечто подобное для телеги, так как давно хотел разобраться в Telegram Mini Apps и веб-разработке. Сделал www.tgoop.com/GigoGramBot/report — тут можно ради кеков проанализировать профиль/канал/бота по публичной инфе (аватарке, имени, никнейму, bio и постам в случае каналов)
Раньше я никогда не делал production-ready веб приложений, поэтому захотел поделиться гайдом, как обычному python enjoyer-у сделать свою аппку
🔫 😊 🔫 Фронтенд
🟣 v0
v0 умеет делать красивый дизайн, если в промпте просто указать «сделай красиво». ChatGPT и Claude хуже справляются с абстрактной задачей «сделай красиво» — у них часто получается не очень. Я же, не будучи дизайнером, не могу конкретно объяснить, что нужно улучшить (цвета, расположение, эффекты и т.д.)
От кода, полученного от v0 я, в итоге, отказался, потому что там на выходе Next.js и куча всяких файлов-папок. Мне показалось это сложным, поэтому решил упрощать
🟣 ChatGPT (GPT-4o) и Claude (3.5 Sonnet) 🥴
С их помощью я накидал основу приложения через Create React App. Получился простой репозиторий с несколькими файлами, в которых легко разобраться. И я уже мог давать конкретные комменты по дизайну из v0 и прикладывать скриншоты к промптам.
🟣 В дальнейшем я остановился на ChatGPT, так как он предполагал, что я ничего не знаю, и давал базовые советы типа: «Сначала вызови команду npm install, создай такой-то файл». Эти советы немного раздражают, когда ты опытный разработчик, но в моём случае были полезны.
🟣 С помощью Cursor разработал весь функционал приложения. Кажется, я самостоятельно написал всего несколько строчек кода. Единственное — столкнулся с тривиальной багой, которую не могли пофиксить ни Cursor, ни ChatGPT, ни Claude. Только с выходом o1-preview её удалось исправить, лол.
🟣 Сами Telegram Mini Apps оказались прикольными. Достаточно добавить один JS-скрипт, и становятся доступны все методы из документации.
🟣 Деплой через Netlify. Просто подключил GitHub-репозиторий, и всё само выкатилось. Больше ничего не делал. Цена: $0.
🥸 🥸 🥸 Бэкенд
🔹 FastAPI
Здесь живут все эндпоинты для получения информации о юзернейме и предсказаний. Очень люблю FastAPI. Если вы ещё на Flask, то пора переходить!
🔹 Redis в качестве единственной БД
Возможно, это не самое логичное решение, зато супер просто и быстро! У меня всего две операции: получить информацию по юзернейму или сохранить её.
🔹 Python Telegram Bot
На этом фреймворке написан сам бот. В принципе, можно было бы и без бота, но для оплат нужен сервис, который отвечает на
🔹 Сервер
Арендовал Droplet на DigitalOcean, там же задеплоил приложение. Redis поднял через их Databases. Цена: $30/месяц за всё.
🔹 Оказалось, что сервера DigitalOcean заблокированы в РФ, поэтому подключил Cloudflare DNS + Proxy. Цена: $0.
🙂 🙂 🙂 AI часть
🟣 Написал пару функций, которые парсят доступную публичную информацию о пользователе или канале по юзернейму.
🟣 Промпт скопировал у twitter.wordware.ai — у них можно форкнуть агента и посмотреть внутренности. Немного подкорректировал его, чтобы лучше работал для Telegram.
🟣 Использую GPT-4o с включенными Vision Capabilities и Structured Outputs. Эту фичу я больше всего люблю в современных ллм-системах. По сути, нужно задать pydantic модель (см. скрин) и она у тебя будет на выходе запроса (sic!) Цена: ~$0.1 за генерацию.
Короче, попробуйте потыкать аппку (там 3 предсказания бесплатно), а я отвечу на любые вопросы про реализацию.
🤪 https://www.tgoop.com/GigoGramBot/report
Пару месяцев назад в Twitter завирусилось веб-приложение, которое анализирует твиты и делает разбор личности в стиле: «Ты похож на волка 🐺, брат. Станешь мультимиллионером с вероятностью 99%». twitter.wordware.ai — было создано на no-code платформе от YC-backed компании Wordware.
Я решил неспешно повторить нечто подобное для телеги, так как давно хотел разобраться в Telegram Mini Apps и веб-разработке. Сделал www.tgoop.com/GigoGramBot/report — тут можно ради кеков проанализировать профиль/канал/бота по публичной инфе (аватарке, имени, никнейму, bio и постам в случае каналов)
Раньше я никогда не делал production-ready веб приложений, поэтому захотел поделиться гайдом, как обычному python enjoyer-у сделать свою аппку
v0 умеет делать красивый дизайн, если в промпте просто указать «сделай красиво». ChatGPT и Claude хуже справляются с абстрактной задачей «сделай красиво» — у них часто получается не очень. Я же, не будучи дизайнером, не могу конкретно объяснить, что нужно улучшить (цвета, расположение, эффекты и т.д.)
От кода, полученного от v0 я, в итоге, отказался, потому что там на выходе Next.js и куча всяких файлов-папок. Мне показалось это сложным, поэтому решил упрощать
С их помощью я накидал основу приложения через Create React App. Получился простой репозиторий с несколькими файлами, в которых легко разобраться. И я уже мог давать конкретные комменты по дизайну из v0 и прикладывать скриншоты к промптам.
🔹 FastAPI
Здесь живут все эндпоинты для получения информации о юзернейме и предсказаний. Очень люблю FastAPI. Если вы ещё на Flask, то пора переходить!
🔹 Redis в качестве единственной БД
Возможно, это не самое логичное решение, зато супер просто и быстро! У меня всего две операции: получить информацию по юзернейму или сохранить её.
🔹 Python Telegram Bot
На этом фреймворке написан сам бот. В принципе, можно было бы и без бота, но для оплат нужен сервис, который отвечает на
pre-checkout
запросы. С помощью этого фреймворка такой сервис сделать очень просто🔹 Сервер
Арендовал Droplet на DigitalOcean, там же задеплоил приложение. Redis поднял через их Databases. Цена: $30/месяц за всё.
🔹 Оказалось, что сервера DigitalOcean заблокированы в РФ, поэтому подключил Cloudflare DNS + Proxy. Цена: $0.
Короче, попробуйте потыкать аппку (там 3 предсказания бесплатно), а я отвечу на любые вопросы про реализацию.
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥20👏2❤1👍1
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤5
Почему в API sonnet 3.5 до сих пор нет structured outputs? 🔪 (это когда ты говоришь, какая JSON схема тебе нужна на выходе)
Они советуют заниматься какими-то дурацкими трюками, чтобы консистентность ответа повысить
1. Очень сильно попросить в промпте, какая схема тебе нужна
2. Добавить few-shot примеры
3. Сделать prefill ответа ассистента (это ты первые токены json-а сам пишешь)
https://docs.anthropic.com/en/docs/test-and-evaluate/strengthen-guardrails/increase-consistency
Они советуют заниматься какими-то дурацкими трюками, чтобы консистентность ответа повысить
1. Очень сильно попросить в промпте, какая схема тебе нужна
2. Добавить few-shot примеры
3. Сделать prefill ответа ассистента (это ты первые токены json-а сам пишешь)
https://docs.anthropic.com/en/docs/test-and-evaluate/strengthen-guardrails/increase-consistency
Please open Telegram to view this post
VIEW IN TELEGRAM
😁5👍2🗿1
Нейронный Кот
Почему в API sonnet 3.5 до сих пор нет structured outputs? 🔪 (это когда ты говоришь, какая JSON схема тебе нужна на выходе) Они советуют заниматься какими-то дурацкими трюками, чтобы консистентность ответа повысить 1. Очень сильно попросить в промпте, какая…
Как сильно OpenAI впереди?
Почитайте, как они JSON schema конвертят в context-free grammar (CFG)
Как я понял, другие популярные решения все еще завязаны на finite state machines (FSMs) и это не круто!🤡
Blog post: https://openai.com/index/introducing-structured-outputs-in-the-api
Docs: https://platform.openai.com/docs/guides/structured-outputs
Почитайте, как они JSON schema конвертят в context-free grammar (CFG)
Как я понял, другие популярные решения все еще завязаны на finite state machines (FSMs) и это не круто!
Blog post: https://openai.com/index/introducing-structured-outputs-in-the-api
Docs: https://platform.openai.com/docs/guides/structured-outputs
Please open Telegram to view this post
VIEW IN TELEGRAM
Openai
Introducing Structured Outputs in the API
We are introducing Structured Outputs in the API—model outputs now reliably adhere to developer-supplied JSON Schemas.
❤7