AI для Всех

AI для Всех

🧠 Test-Time Training Исследователи из MIT представили инновационный метод Test-Time Training (TTT), который позволяет AI-моделям адаптироваться к конкретным задачам прямо во время работы! 🎯 🤔 Почему это важно: - AI становится более гибким и точным - Модель…

В продолжение разговора о Test-Time Training (TTT), давайте разберем технические детали этого подхода.

🔍 Архитектура TTT состоит из трех ключевых компонентов:

1. Генерация данных для обучения:
- Создает "leave-one-out" задачи из тренировочных примеров
- Применяет набор обратимых трансформаций (поворот, отражение, транспонирование)
- Формирует расширенный набор данных для каждой конкретной задачи

2. Процесс адаптации:
- Использует LoRA-адаптеры для эффективного файнтюнинга
- Rank = 128 обеспечивает баланс между гибкостью и эффективностью
- Применяется к query, value проекциям в self-attention, MLP и выходным слоям
- Обучение происходит за 2 эпохи с batch size = 2

3. Система голосования:
- Генерирует множество предсказаний через различные трансформации
- Использует двухуровневое голосование:
* Сначала внутри каждой трансформации
* Затем между лучшими кандидатами от разных трансформаций

📊 Процесс обучения реализован в два этапа:

1. Предварительный файнтюнинг базовой модели:
- Обучение на синтетических данных ARC
- Использование существующих генераторов задач
- Применение геометрических трансформаций для аугментации

2. Test-Time адаптация:
- Создание уникальной LoRA для каждой задачи
- Оптимизация на примерах конкретной задачи
- Использование AdamW оптимизатора с learning rate 5e-5

🔬 Технические результаты:

- На модели 8B параметров достигает 53% точности
- Улучшает базовую точность в 6 раз для 1B модели
- В ансамбле с program synthesis достигает 61.9%

⚙️ Ключевые технические особенности:
- Не требует доступа к тестовым ответам
- Временные адаптеры удаляются после использования
- Эффективное использование памяти благодаря LoRA
- Работает с существующими языковыми моделями

🤓 Интересные технические находки:
- Иерархическое голосование работает лучше плоского
- Геометрические трансформации критически важны для успеха
- LoRA per task эффективнее общего адаптера
- QLoRA показывает сравнимые результаты при меньшем потреблении памяти

Этот подход открывает новые возможности для адаптивного AI, способного настраиваться на конкретные задачи в реальном времени, сохраняя при этом вычислительную эффективность.

👍9🔥5❤1

www.tgoop.com/nn_for_science/2310

3.5K viewsArtemii, edited  Dec 6, 2024 at 04:32

В продолжение разговора о Test-Time Training (TTT), давайте разберем технические детали этого подхода.

🔍 Архитектура TTT состоит из трех ключевых компонентов:

1. Генерация данных для обучения:
- Создает "leave-one-out" задачи из тренировочных примеров
- Применяет набор обратимых трансформаций (поворот, отражение, транспонирование)
- Формирует расширенный набор данных для каждой конкретной задачи

2. Процесс адаптации:
- Использует LoRA-адаптеры для эффективного файнтюнинга
- Rank = 128 обеспечивает баланс между гибкостью и эффективностью
- Применяется к query, value проекциям в self-attention, MLP и выходным слоям
- Обучение происходит за 2 эпохи с batch size = 2

3. Система голосования:
- Генерирует множество предсказаний через различные трансформации
- Использует двухуровневое голосование:
* Сначала внутри каждой трансформации
* Затем между лучшими кандидатами от разных трансформаций

📊 Процесс обучения реализован в два этапа:

1. Предварительный файнтюнинг базовой модели:
- Обучение на синтетических данных ARC
- Использование существующих генераторов задач
- Применение геометрических трансформаций для аугментации

2. Test-Time адаптация:
- Создание уникальной LoRA для каждой задачи
- Оптимизация на примерах конкретной задачи
- Использование AdamW оптимизатора с learning rate 5e-5

🔬 Технические результаты:

- На модели 8B параметров достигает 53% точности
- Улучшает базовую точность в 6 раз для 1B модели
- В ансамбле с program synthesis достигает 61.9%

⚙️ Ключевые технические особенности:
- Не требует доступа к тестовым ответам
- Временные адаптеры удаляются после использования
- Эффективное использование памяти благодаря LoRA
- Работает с существующими языковыми моделями

🤓 Интересные технические находки:
- Иерархическое голосование работает лучше плоского
- Геометрические трансформации критически важны для успеха
- LoRA per task эффективнее общего адаптера
- QLoRA показывает сравнимые результаты при меньшем потреблении памяти

Этот подход открывает новые возможности для адаптивного AI, способного настраиваться на конкретные задачи в реальном времени, сохраняя при этом вычислительную эффективность.

BY AI для Всех