AI-инфраструктура Авито: практические решения для LLM и VLM
На Data Fest 2025 команда Авито показала, как устроена их внутренняя ML разработка. В основе большинства продуктовых ИИ-решений — собственная языковая модель A-Vibe (до 7 млрд параметров, обучена на 700 млрд токенов). Для нее специально сделали токенизатор под русский язык — он обрабатывает тексты на 29% эффективнее стандартных. Это позволило в два раза ускорить работу модели. A-Vibe уже работает в продакшене и заняла первое место среди моделей до 7 миллиардов параметров в бенчмарке МЕРА.
Для техподдержки сделали инструмент на базе LLM: он переписывает ответы агентов, чтобы они звучали более эмпатично и по-человечески, и саммаризует обращения при передаче между сотрудниками. Агенты довольны: 97% отметили, что стало удобнее.
Под все это в Авито построили свою ML-платформу. В ней есть хранилище признаков для моделей, система разметки с проверкой качества и решение Aqueduct — оно встраивается прямо в модель и экономит до 30% ресурсов на инференсе. Платформа уже позволяет запускать продакшен-модели без программирования, через no-code интерфейс.
Стажеры тоже работают с реальными задачами — например, обучают модели с нуля и оптимизируют пайплайны. Один такой проект помог в 10 раз сократить расходы на проверку звонков.
Отдельный блок на фестивале занял ML Cup от Авито. Участники решали задачи по рекомендациям и поиску дублей — те же, что крутятся в продакшене и обрабатывают 4 миллиарда событий в день. За два месяца подали 6500 решений, в конкурсе участвовало почти 900 человек.
На Data Fest 2025 команда Авито показала, как устроена их внутренняя ML разработка. В основе большинства продуктовых ИИ-решений — собственная языковая модель A-Vibe (до 7 млрд параметров, обучена на 700 млрд токенов). Для нее специально сделали токенизатор под русский язык — он обрабатывает тексты на 29% эффективнее стандартных. Это позволило в два раза ускорить работу модели. A-Vibe уже работает в продакшене и заняла первое место среди моделей до 7 миллиардов параметров в бенчмарке МЕРА.
Для техподдержки сделали инструмент на базе LLM: он переписывает ответы агентов, чтобы они звучали более эмпатично и по-человечески, и саммаризует обращения при передаче между сотрудниками. Агенты довольны: 97% отметили, что стало удобнее.
Под все это в Авито построили свою ML-платформу. В ней есть хранилище признаков для моделей, система разметки с проверкой качества и решение Aqueduct — оно встраивается прямо в модель и экономит до 30% ресурсов на инференсе. Платформа уже позволяет запускать продакшен-модели без программирования, через no-code интерфейс.
Стажеры тоже работают с реальными задачами — например, обучают модели с нуля и оптимизируют пайплайны. Один такой проект помог в 10 раз сократить расходы на проверку звонков.
Отдельный блок на фестивале занял ML Cup от Авито. Участники решали задачи по рекомендациям и поиску дублей — те же, что крутятся в продакшене и обрабатывают 4 миллиарда событий в день. За два месяца подали 6500 решений, в конкурсе участвовало почти 900 человек.
tgoop.com/ai_machinelearning_big_data/7763
Create:
Last Update:
Last Update:
AI-инфраструктура Авито: практические решения для LLM и VLM
На Data Fest 2025 команда Авито показала, как устроена их внутренняя ML разработка. В основе большинства продуктовых ИИ-решений — собственная языковая модель A-Vibe (до 7 млрд параметров, обучена на 700 млрд токенов). Для нее специально сделали токенизатор под русский язык — он обрабатывает тексты на 29% эффективнее стандартных. Это позволило в два раза ускорить работу модели. A-Vibe уже работает в продакшене и заняла первое место среди моделей до 7 миллиардов параметров в бенчмарке МЕРА.
Для техподдержки сделали инструмент на базе LLM: он переписывает ответы агентов, чтобы они звучали более эмпатично и по-человечески, и саммаризует обращения при передаче между сотрудниками. Агенты довольны: 97% отметили, что стало удобнее.
Под все это в Авито построили свою ML-платформу. В ней есть хранилище признаков для моделей, система разметки с проверкой качества и решение Aqueduct — оно встраивается прямо в модель и экономит до 30% ресурсов на инференсе. Платформа уже позволяет запускать продакшен-модели без программирования, через no-code интерфейс.
Стажеры тоже работают с реальными задачами — например, обучают модели с нуля и оптимизируют пайплайны. Один такой проект помог в 10 раз сократить расходы на проверку звонков.
Отдельный блок на фестивале занял ML Cup от Авито. Участники решали задачи по рекомендациям и поиску дублей — те же, что крутятся в продакшене и обрабатывают 4 миллиарда событий в день. За два месяца подали 6500 решений, в конкурсе участвовало почти 900 человек.
На Data Fest 2025 команда Авито показала, как устроена их внутренняя ML разработка. В основе большинства продуктовых ИИ-решений — собственная языковая модель A-Vibe (до 7 млрд параметров, обучена на 700 млрд токенов). Для нее специально сделали токенизатор под русский язык — он обрабатывает тексты на 29% эффективнее стандартных. Это позволило в два раза ускорить работу модели. A-Vibe уже работает в продакшене и заняла первое место среди моделей до 7 миллиардов параметров в бенчмарке МЕРА.
Для техподдержки сделали инструмент на базе LLM: он переписывает ответы агентов, чтобы они звучали более эмпатично и по-человечески, и саммаризует обращения при передаче между сотрудниками. Агенты довольны: 97% отметили, что стало удобнее.
Под все это в Авито построили свою ML-платформу. В ней есть хранилище признаков для моделей, система разметки с проверкой качества и решение Aqueduct — оно встраивается прямо в модель и экономит до 30% ресурсов на инференсе. Платформа уже позволяет запускать продакшен-модели без программирования, через no-code интерфейс.
Стажеры тоже работают с реальными задачами — например, обучают модели с нуля и оптимизируют пайплайны. Один такой проект помог в 10 раз сократить расходы на проверку звонков.
Отдельный блок на фестивале занял ML Cup от Авито. Участники решали задачи по рекомендациям и поиску дублей — те же, что крутятся в продакшене и обрабатывают 4 миллиарда событий в день. За два месяца подали 6500 решений, в конкурсе участвовало почти 900 человек.
BY Machinelearning
Share with your friend now:
tgoop.com/ai_machinelearning_big_data/7763