tgoop.com/nn_for_science/2458
Last Update:
🚗 Scaling Laws в беспилотном транспорте
О чём вообще речь?
Waymo опубликовала исследование: взяла 500 000 часов реальных поездок, обучила трансформеры до 30 М параметров на задаче «предскажи всех участников трафика + спланируй свою траекторию» — и построила лог-лог кривые. Они оказались почти прямыми: качество растёт как Compute^-0.27. То есть больше GPU → меньше аварий.
Почему так происходит?
1. Переизбыточность данных. Чем разнообразнее поездки, тем выше шанс встретить редкий «поворот на красный в тумане».
2. Масштаб модели ↔ сложность среды. Шире сеть — больше «места» запомнить длинный хвост редких сценариев.
3. Инференс-семплы для улучшения предсказаний. Monte-Carlo-планирование с 100-200 вариантом хода позволяет маленькой сети догнать большую.
Как Waymo проверяла гипотезу?
• Данные: 0.5 млн часов поездок (крупнейший приватный датасет в AV).
• Модели: трансформеры 1 М → 30 М параметров.
• Метрики:
• Open-loop — MSE/NLL на фиксированных сценариях.
• Closed-loop — симуляция, где ошибка ведёт к столкновению.
• Вычисления: масштабировали и обучение, и число сэмплов при планировании.
Что из этого следует?
• Open ≈ Closed. Улучшения на статическом датасете почти линейно переходят в симуляцию — можно быстро итераировать без дорогих полевых испытаний.
• Бюджет предсказуем. Команды робототехники могут планировать апгрейды так же, как NLP-команды: знаешь FLOPs → знаешь будущую точность.
• Шанс для стартапов. При умном инференсе компактные сети догоняют 30-миллионную — открывая путь к поколению «лайт-роботакси».
• Барьеры остались. Сенсоры, лицензии на данные и суперредкие кейсы никто не отменял.
Практическая интуиция
Думайте о беспилотнике как о GPT на колёсах: хотите безопаснее — покупайте ещё миллионы часов трафика и горки GPU.
Блог-пост
BY AI для Всех
Share with your friend now:
tgoop.com/nn_for_science/2458