partially unsupervised

Если бы год назад мне сказали, что французская компания будет двигать вперед опенсорсный AI, я бы подумал, что собеседник неадекватен. Когда Mistral AI только поднял свой первый раунд по оценке в ~300 миллионов, не имея ничего, кроме трех крутых фаундеров, я тоже смотрел на это скептически. Хаха, французы решили сделать deep tech компанию 🥐🥖🍷🧀, все равно получится пекарня или профсоюз. Я был сильно не прав.

Спустя полгода их вышедшая меньше двух недель назад Mixtral показывает лучший результат среди опенсорсных моделей, уверенно обходя GPT 3.5 на лидерборде. Ее можно гонять на более или менее доступном железе, у нее свободная лицензия Apache, и ее вовсю успешно файнтюнят. Буквально вчера наткнулся на один такой нецензурированный вариант и - сугубо из любопытства - начал баловаться с запрещенными темами.

Модель дает неплохие советы, где скачать пиратский контент, как вести партизанские действия в городской застройке, как хитрить с налогами, не пытаясь при этом быть моральным компасом. Промпты про написание шуток, высмеивающие те или иные социальные группы, ее слегка корежат, но в итоге можно добиться несмешного, но осмысленного ответа, не утыкаясь в стену OpenAI's content policies.

mistral.ai

Mixtral of experts | Mistral AI

A high quality Sparse Mixture-of-Experts.

🔥128😈10❤6🦄6👍2

www.tgoop.com/partially_unsupervised/211

12.6K viewsedited  Dec 23, 2023 at 12:32

Если бы год назад мне сказали, что французская компания будет двигать вперед опенсорсный AI, я бы подумал, что собеседник неадекватен. Когда Mistral AI только поднял свой первый раунд по оценке в ~300 миллионов, не имея ничего, кроме трех крутых фаундеров, я тоже смотрел на это скептически. Хаха, французы решили сделать deep tech компанию 🥐🥖🍷🧀, все равно получится пекарня или профсоюз. Я был сильно не прав.

Спустя полгода их вышедшая меньше двух недель назад Mixtral показывает лучший результат среди опенсорсных моделей, уверенно обходя GPT 3.5 на лидерборде. Ее можно гонять на более или менее доступном железе, у нее свободная лицензия Apache, и ее вовсю успешно файнтюнят. Буквально вчера наткнулся на один такой нецензурированный вариант и - сугубо из любопытства - начал баловаться с запрещенными темами.

Модель дает неплохие советы, где скачать пиратский контент, как вести партизанские действия в городской застройке, как хитрить с налогами, не пытаясь при этом быть моральным компасом. Промпты про написание шуток, высмеивающие те или иные социальные группы, ее слегка корежат, но в итоге можно добиться несмешного, но осмысленного ответа, не утыкаясь в стену OpenAI's content policies.

BY partially unsupervised