tgoop.com/savostyanov_dmitry/634
Last Update:
Неделю искал баг
Работаю над нейросетью, которая сможет генерировать анимации в реальном времени в игровом движке в разных стилях.
Обучаю, запускаю, вижу jitter — дрожание в суставах. Персонаж в общих чертах выполняет анимацию, но все суставы дрожат, root дергается, выглядит сомнительно.
Под капотом диффузия, которая генерирует движения из шума. Сначала уповал на нее, перечитал статьи вдоль и поперек, от руки сделал все выкладки, написал тесты, вроде все работает.
Далее крутил loss, прикрутил jerk — 3-ю производную по времени. Улучшений нет.
Зашел с другой стороны, накинул аугментаций в DataLoader со сглаживанием траектории root и вращений. Оверфитил на одном сэмпле, учил на датасетах разных размеров, ничего не помогает.
В конечном счете решил, что да и хуй с ним, потом вернусь к проблеме. Экспортнул в ONNX, прогоняю тестовый инференс, работает идеально, никакого jitter.
Угадайте в чем была ошибка…
BY Дмитрий Савостьянов Вещает
Share with your friend now:
tgoop.com/savostyanov_dmitry/634