tgoop.com/gonzo_ML/2821
Last Update:
Я думаю, что следующий большой шаг в демократизации LLM случится, когда кто-то опубликует открытую модель среднего размера (скажем, 20-50B, но хорошо если и маленькие тоже, до 10B) со следующими свойствами:
1. Мультиязычность by design. Идеально с поддержкой хотя бы нескольких десятков, а лучше сотни языков, покрывающих разные языковые семьи и письменности.
Прямо сейчас, хоть отдельные модели как-то умеют работать с неанглийским из коробки или могут быть достаточно хорошо зафайнтюнены благодаря удачным токенизаторам и не только, это не оптимальное решение для рабочих продуктов, где надо покрывать широкий спектр культур и языков.
2. Function calling, который пока массово отсутствует в открытых моделях больших игроков. Только комьюнити файнтюны.
Это откроет дорогу к сильно более полезным локальным агентным историям, чем можно собрать на открытых моделях сейчас.
Может ещё есть какое-то полезное свойство, но сходу на ум не пришло. Напишите в комментариях, если считаете что есть ещё что-то важное.
Здесь наверное могла бы быть мультимодальность, но мне кажется и без неё уже будет огонь 🔥
Может быть супер длинный контекст, но кажется, что его расширить можно проще, чем добавить в трейнсет много языков
UPD: модель с commercial friendly лицензией
Интересно, кто будет первым и оставит этот след в истории. Я больше верю в какого-то не самого большого игрока, Мистраль, например. Либо вообще кто-то новый с ресурсами. От больших не дождёмся, кажется.
BY gonzo-обзоры ML статей
Share with your friend now:
tgoop.com/gonzo_ML/2821