Voice and image capabilities in ChatGPT

В течение двух недель премиум юзеры чатгпт смогут отправлять фото и спрашивать вопросы по этим фото. Также будет доступен голосовой ввод.

https://openai.com/blog/chatgpt-can-now-see-hear-and-speak

Валидация языковых моделей

У вас бывало такое, что удалось достичь высокого качества на какой-нибудь задаче, а потом оказывалось, что был дата лик? :)

Несколько последних случаев LLM в опен-сорсе заставляют пересмотреть результаты на бенчмарках.

1️⃣ Модель NewHope с громким заголовком "Harnessing 99% of GPT-4's Programming Capabilities" получила качество 66.5 на HumanEval (у гпт-4 67.0, а у чатгпт 48.1). Оказалось, они обучились на тест сете

2️⃣ 1.5B модель от майкрасофт phi-1.5 показала качество на вопросах по математике и кодингу в несколько раз выше, чем Llama-2 7B. В твиттере есть тред с доказательствами, что тест содержался в обучении.

3️⃣ phi-1.5 обучалась на синтетических данных, сгенерированных с помощью моделей OpenAI, а это значит, что и они учились на тест-сетах

Вывод: все модели нужно перепроверять на своих задачах через АБ тесты.

Верите ли вы, что Mistral 7B работает сравнимо по качеству с Llama-2 13B?

Математическая задачка (без подтекста)

Самовыдвиженцы собирают 300к подписей, кандидаты от партий — 100к. Проверяют только 60к.

Кто с большей вероятностью получает отказ?

Кандидаты в Президенты РФ оказываются в неравном положении при проверке подписей.

И у самовыдвиженцев, которые собирают 300 тысяч подписей, и у кандидатов от партий, которые собирают 100 тысяч, ЦИК проверяет только 60 тысяч.

Таким образом, 6 тысяч недействительных подписей у кандидата самовыдвиженца — это 2% брака. Для кандидата, выдвинутого политической партией то же количество брака составляет уже 6%, что делает отказ в регистрации более вероятным для последнего.

Почему на фоне Павла два стула?

https://youtu.be/1Ut6RouSs0w?si=AEK7SFLXwDXSJkEa

Mixtral 8x22B

Из интересного
1. Нативная поддержка function calling (тут можно почитать, что это такое)
2. Прокачали матешу и кодинг
3. 64к контекст
4. apache 2.0 (huggingface)

И вроде как лучше, чем llama-70b и Command-R (особенно на французском, немецком, испанском, итальянском языках)

https://mistral.ai/news/mixtral-8x22b

Pretend you are ...

Mistral выпустили модель для кода

Я пытаюсь понять, кто и как такие модели использует. Вижу два кейса

1. Не хочешь чувствовать себя древним ацтеком в самолете без доступа в интернет
2. Ты или твоя компания беспокоитесь, что злые github copilot или cursor.com украдут ваш код

Есть еще кейсы?