tgoop.com/dsproglib/6840
Last Update:
Выбор правильной архитектуры под задачу — это половина успеха в AI-проектах. Каждая из них рождена под конкретный тип данных и обрабатывает информацию по-своему:
Фильтры свёртки находят края и паттерны в изображениях, pooling снижает размерность, fully connected слои собирают фичи в прогноз. Отлично подходят для распознавания изображений, медицинских снимков и любых задач со spatial-отношениями.
Обрабатывают данные по шагам, сохраняя скрытое состояние с контекстом. Хорошо работают с текстом, временными рядами, переводами и прогнозами, где важен порядок.
Заменили пошаговую обработку механизмом внимания: модель смотрит на всю последовательность сразу и решает, что важнее. Это быстрее и эффективнее для long-range зависимостей. На трансформерах построены GPT, BERT и большинство современных LLM.
Передают информацию между узлами в графе (message passing), захватывая локальные и глобальные связи. Подходят для анализа соцсетей, молекулярных свойств и рекомендательных систем.
Архитектура выбирается под структуру данных:
А в реальных проектах часто комбинируют несколько: CNN для feature extraction + Transformer для reasoning, или GNN для связей между пользователями + RNN для рекомендаций.
#буст