tgoop.com/savostyanov_dmitry/300
Create:
Last Update:
Last Update:
Twitter выложил исходный код своей рекомендательной системы
Помните классический вопрос про ленту твиттера на ML System Design? Так вот теперь на него существует явный ответ:
1. Фетчим 1500 постов из релевантных источников
2. Ранжируем по взвешенной сумме из предсказанных вероятностей лайка, ретвита, ответа и тд (веса на картинке)
3. Накидываем эвристики для фильтрации и вываливаем пользователю
Прочие интересные факты:
- Scala, Python
- 1.5 сек на отработку пайплайна
- 5 млрд запросов в сутки
Статья
Код
BY Дмитрий Савостьянов Вещает

Share with your friend now:
tgoop.com/savostyanov_dmitry/300