Есть ли разница между DS инженером и AI исследователем

Илон Маск написал, что отменяет в xAI должность researcher. Теперь все будут engineer.

Ян Лекун (один из главных авторитетов в ML рисерче) написал длинный пост в линкедин с критикой.

Мне лично кажется деление на researcher и engineer разумным. Саму работу в DS я бы поделил на 3 категории

- Разработка прикладных решений. Делают DS инженеры 👷
- Разработка экспериментальных решений. Тоже делают DS инженеры 👷
- Создание новых технологий и методов. Делают исследователи 🧑‍🔬

💊 Этими тремя группами удобно оперировать с точки зрения управления ресурсами компании. Вы балансируете, сколько человек работают над результатом здесь и сейчас, а сколько работают на средний и далекий горизонт. Теперь по поводу ролей.

Цель инженера - создать рабочее решение. Цель исследователя - создать новую технологию и опубликовать статью. Давайте разберемся, почему я поделил работу между инженерами и исследователями как написал выше.

- По поводу прикладных решений вопросов нет. Это абсолютно инженерная работа. Новые методы изобретать не нужно, а нужно уметь из существующих собрать рабочее решение, сделать файн-тюн, добавить эвристики итд.

- По экспериментальным решениям менее однозначно. В процессе могут появиться новые методы и архитектуры моделей, но это не основной продукт, это не делается специально (в здоровых командах 🤒). Главное - именно собрать рабочее решение, поэтому работа инженерная.

- А вот в целенаправленном создании новых методов работа не инженерная. Неоднозначность тут вызывается тем, что в AI значительная часть исследований - корпоративная. Корпоративная среда не хочет сухих открытий 💰, она хочет внедрений. Но пилотирование новой модели - это не исследовательская работа, это уже другая задача. Если создан интересный метод, помочь его протестировать должен DS инженер. По крайней мере так это реализовано у нас в нашем небольшом рисерче монетизации.

Итого, я бы не отказывался от разделения инженера и исследователя

Характер работы и требуемые навыки и правда слишком разные. Если инженера можно подвинуть с прикладных решений на экспериментальные, то рисерчера как правило никуда не подвинуть.

#management@big_ledovsky

Поиск и LLM. Как сломался data-driven подход

Из разговоров на кухне ☕. Я уже давно перестал пользоваться традиционным поиском, таким как Яндекс и Google, и перешел на ChatGPT. Это глобальный тренд. ChatGPT и его аналоги существенно лучше работают. Кто-то использует Perplexity, например

Что мне меньше нравится в обычном поиске - это качество источников. Вводишь условно «как лучше спать», тебе выходят статьи из комсомольской правды. А ChatGPT даст саммари и подкрепит ссылками на рецензируемые статьи с PubMed. Это конечно круто.

Необычность ситуации в том, что поиск - зрелая индустрия. В технологических гигантах сотни людей годами качают метрики качества поиска. Например, релевантность или конверсию в клик в ранжировании. И тут такой заметный скачок в пользовательском восприятии.

Почему так произошло? У меня одно объяснение. Традиционные метрики поиска на самом деле паршивые. Они недостаточно хорошо отражают пользовательское качество. Надеюсь не сильно расстроил читателей, который обучают ML модели в поиске на эти метрики (я сам из них 🤷‍♂). Может быть поисковикам стоит начать показывать две выдачи слева и справа как ChatGPT?

#tech@big_ledovsky