tgoop.com/aidea4work/76
Last Update:
Вчера на тренинге меня расспрашивали про локальные LLM в компании: что они могут и какие лучше. Тема актуальная, так что решил поделиться.
Найти задачи, где они «косячат», становится всё труднее.
И вам для них не нужны кластеры. Уже за ~25 тыс.₽ в месяц можно арендовать сервер с GPU, чтобы развернуть Qwen3 14B. А эта модель по качеству лучше GPT-4, которая ровно год назад была в топ-5 (теперь, правда, опустилась до 91-го места в рейтинге lmarena).
— Сейчас самая крутая по соотношению рейтинг/цена сервера — Gemma 3 от Google. В ней 27B параметров, но с технологией QAT в апреле ее требования к объему видеопамяти уменьшились до 14GB (!). Gemma 3 сейчас на 13-м месте в рейтинге lmarena.ai, тогда как GPT-4.1 — на восьмом.
— Для некоторых задач может подойти французская Mistral Small 3.1 (24B). Пользователи lmarena ее оценивают невысоко, но есть задачи и бенчмарки, где она превосходит Gemma 3 (см. скрин).
— #новость Ну и на этой неделе вышла китайская Qwen3, она умеет работать в рассуждающем режиме. Почти каждая версия этой модели — первая в своём размерном классе. Не обошла Qwen только ту самую Gemma 3.
В общем пора пробовать небольшие локальные модели. Это уже не так дорого и покрывает большинство базовых задач.
#LLM #локальные
