tgoop.com/ai_newz/1775
Last Update:
Нейродайджест за неделю (#9):
Я нечасто постил на прошлой неделе, однако произошло много интересного. Вот тут несколько хайлайтов.
🔥 LLaMA - новая языковая модель от Meta AI
LLaMA - семейство моделей (7, 13, 33 и 65 млрд параметров). При том, что количество параметров у LLaMA на порядок меньше, она может превосходить GPT-3 по качеству на бенчмарках. Что не менее важно, Meta релизит веса для исследователей.
🛞 Стартап Амазона Zoox, производящий автономные такси, получил разрешение на поездки
В машине полностью отсутствует руль и педали. Однако, пока что, тестирование на дорогах общего пользования сильно ограничено: ездить можно только по выходным, не более 65км/ч и только в отведенных районах.
🤗 Библиотека PEFT от Hugging Face для эффективного файн-тьюнинга
PEFT интегрирован с HF Accelerate и позволяет оптимизировать только часть параметров, что значительно экономит необходимые ресурсы. Как прмер, авторы приводят файнтьюнинг bigscience/T0_3B (3B params), для которой требования VRAM снизились с ~50Gb до 15Gb.
⚡Либа FlexGen позволяет запустить огромную языковую модель типа OPT-175B/GPT-3 на одной видеокарте 16 GB VRAM. Вот только нужно 200Gb оперативки.
📈 Трендовый гайд по промпт-инженерингу
Хочешь красивую генерацию – люби и промпты подбирать. В репе есть примеры инженеринга промтов для разных задач, а так же лекция и другие материалы на тему.
👀 Grid-search по лекарствам против рака с помощью Компьютерного зрения.
Ученые испытывали препараты не на раковом больном, а параллельно на десятках образцах его тканей. При этом, за изменениями в целевых клетках, наблюдала нейронка, которая позволяла отмечать даже малые изменения в клетках после терапии. В итоге смогли найти подходящее лекарство, про которое раньше даже и не думали, и у пациента началась ремиссия.
🔎 Google нашел новый эффективный оптимайзер – Lion. [Пост]
❱❱ Читать предыдущий нейродайджест
#дайджест
@ai_newz
BY эйай ньюз
Share with your friend now:
tgoop.com/ai_newz/1775