🇷🇺 FRIDA теперь в GGUF и Ollama

Модель FRIDA от SberDevices - это мощный эмбеддер на базе T5, обученный для универсального представления текста в задачах вроде парафразирования, классификации и поиска.

Однако, из-за того что её токенизатор - Roberta, а веса - T5Encoder её было затруднительно конвертировать в GGUF, но мне таки удалось это сделать.

Поэтому теперь FRIDA доступна:
- на Hugging Face в формате GGUF
- в Ollama для локального инференса

Подробнее о самой модели можно почитать в публикации "Знакомьтесь, FRIDA. Открытая эмбеддинг-модель для русского языка" на Хабр и в посте на Телеграм-канале Александра Абрамова (@dealerAI).

Качаем так:

ollama pull evilfreelancer/FRIDA

Пример запроса к Ollama:

curl http://localhost:11434/api/embed -d '{
  "model": "evilfreelancer/FRIDA",
  "input": "search_query: Где находится НИИ ЧАВО?"
}'

Обратите внимание: на данный момент в Ollama (v0.7.0) возможны баги при обработке некоторых строк (например, длинные русские тексты с query/document), но с llama-embedding модель работает стабильно.

PS. Подробную инструкцию о том как выполнять конвертацию выложу отдельно.