ML Advertising

Продолжаем тему LLM. Сегодня речь пойдет про Mistral

Для справки, Mistral - это французский стартап серии B, разрабатывающий LLM. Поднял в 2024 году $640M. Релизят предобученные и затюненные модели и часть из них с открытыми весами. Также предоставляют бесплатный доступ к своим моделям по API.

Запустим из коробки бесплатную модельку Mistral NeMo (12B параметров и контекстное окно на 128k токенов). Не забываем получить API-key на сайте мистраля.

#!pip install mistralai -q
from mistralai import Mistral

#free
#model_id = "pixtral-12b-2409"
#model_id = "open-codestral-mamba"
model_id = 'open-mistral-nemo'

api_key = 'XXX'
client = Mistral(api_key=api_key)

chat_response = client.chat.complete(
    model= model_id,
    messages = [{
      "role": "user",
      "content": "Ответ на Главный вопрос жизни, вселенной и вообще - 42. Докажи это через цепочку рассуждений."
    }]
)

resp = chat_response.choices[0].message.content
print(resp)

Лимиты такие:
- 1 запрос в секунду
- 500 000 токенов в минуту
- 1 миллиард токенов в месяц

Полный список моделей можно найти по ссылке

#llm

mistral.ai

Frontier AI LLMs, assistants, agents, services | Mistral AI

The most powerful AI platform for enterprises. Customize, fine-tune, and deploy AI assistants, autonomous agents, and multimodal AI with open models.

www.tgoop.com/dsinsights/306

1.1K viewsedited  Jan 2 at 14:05

Продолжаем тему LLM. Сегодня речь пойдет про Mistral

Для справки, Mistral - это французский стартап серии B, разрабатывающий LLM. Поднял в 2024 году $640M. Релизят предобученные и затюненные модели и часть из них с открытыми весами. Также предоставляют бесплатный доступ к своим моделям по API.

Запустим из коробки бесплатную модельку Mistral NeMo (12B параметров и контекстное окно на 128k токенов). Не забываем получить API-key на сайте мистраля.

#!pip install mistralai -q
from mistralai import Mistral

#free
#model_id = "pixtral-12b-2409"
#model_id = "open-codestral-mamba"
model_id = 'open-mistral-nemo'

api_key = 'XXX'
client = Mistral(api_key=api_key)

chat_response = client.chat.complete(
    model= model_id,
    messages = [{
      "role": "user",
      "content": "Ответ на Главный вопрос жизни, вселенной и вообще - 42. Докажи это через цепочку рассуждений."
    }]
)

resp = chat_response.choices[0].message.content
print(resp)

BY ML Advertising