tgoop.com/data_wondering/76
Last Update:
Как начать работать с локальными LLM?
Пока пилил свой очередной долгострой-pet-проект, успел сделать небольшой туториал по быстрой настройке и работе с локальными LLM.
В туториале самое основное для старта — стандартная Ollama и open-webui + базовые примеры, вроде суммаризации текстов, structured outputs и, конечно, модели, которая умеет определять хот-дог от не хот-дога.
Почему локальные, а не OpenAI, Anthropic и прочие ребята? Во-первых, потому что мы можем. Во-вторых, это отличная возможность потренироваться с промптами, потрогать разные модели и научиться работать с API, которые более-менее универсальны между провайдерами. И всё это без необходимости платить кому-либо. Ну и, наконец, для каких-то простых задач, вроде выделения определенной информации из текста, локальные модели можно вполне успешно использовать. Осталось только самому засесть и доделать, наконец, свою статью про битвы из википедии
