tgoop.com/unrealneural/2186
Last Update:
#unrealneural #пытаюсьпонять
Текстовая диффузия
Диффузия - это способ создания картинок и видео, где модель постепенно убирает шум из случайного хаоса, слой за слоем, сверху вниз. А вот для текста чаще используют авторегрессию: модель пишет слова по порядку — слева направо, сверху вниз, как человек печатает предложение. Если не углубляться в математику, всё сводится к простому:
Берем поток случайных токенов и постепенно уточняем их.
Используем обычный трансформер, но с двустороннм вниманием: модель смотрит на весь текст сразу. Каждый шаг переоцениваем и маскируем слова, которые еще "шумные". Повторяем, пока не получится чистый и готовый текст.
Модель постоянно подстраивает слова под общий смысл, пока всё не встанет на место.
BY Лаборатория ИИ | AI LAB
Share with your friend now:
tgoop.com/unrealneural/2186