Рисёрч интервью в FAANG

Чтобы попасть на исследовательскую позицию в эти наши фаанги, нужно пройти несколько интервью, обычно 2-3 исследовательских и 2-3 программистских. И если с программистскими всё довольно понятно (хотя там може есть свои лайфхаки), то вот по исследовательской части я материалов для подготовки почти не нашёл. У меня, конечно, всей информации тоже нет, так что расскажу пару наблюдений из своего опыта поиска работы два года назад и небольшого опыта собеседований интернов.

В целом, как мне кажется, в рисёрчерских интервью могут быть смешаны три вещи. Смешаны они оказываются в абсолютно случайных соотношениях, так что стоит быть готовым к любому варианту развития событий.

Во-первых, вас могут просто гонять по содержанию ваших же статей. Вот ты написал что-то там первым автором на ICML, а теперь перескажи это мне, и заодно расскажи, как эту статью вы писали. В таком рассказе критически важно понимать, что длина ш-индекса и сложность доказательств в вашей статье интервьюера волнует меньше, чем то, как вы думаете над статьями, как работаете и мыслите. На вопросы из серии "а как ты выбираешь идеи, над которыми стоит работать?" и "как ты работал с соавторами в такой-то статье?" стоит заранее подумать, как отвечать. Ответ вида "один я умный в белом пальто стою красивый" могут произвести не самое лучшее впечатление.

Чаще всего интервьюеры, которые идут по такому скрипту, заранее подготовили 1-3 вопроса, которые могут чуть выходить за рамки обсуждаемой статьи. Обычно там нет ничего сложного, но слишком часто я спрашивал вещи вида "а можно уменьшить сложность вот этого терма в лоссе?" и получал ответ "нет". Честное слово, можно было! Как минимум, показывайте свой мыслительный процесс на таких вопросах – абсолютно нормально, если ни к чему конкретному не получится прийти.

Второй вариант – это обсуждение какой-нибудь современной исследовательской проблемы в вашей области. Такое случается довольно редко, когда ваша область и область вашего интервьюера максимально пересекаются. И хотя в компаниях HRы пытаются назначать интервью по смежным вам темам, сильное пересечение получается крайне редко. Тут хорошо показать не только глубину, но и широту своих знаний. Например, когда я интервьюировался в разные компании, vision transformers были на пике популярности, и на одном из интервью мы довольно долго обсуждали, как можно их адаптировать для графовых нейронок.

И последнее – вариант наименее приятный, но зато к нему проще всего готовиться. На нём вам просто дают стандартные по основам теории машинного обучения. Это максимально похоже на интервью на МЛ инженеров, только задачи могут попадаться со звёздочкой (да ещё с какой). Сборники таких задач легко найти в интернете, так что готовиться к ним можно и нужно. Иногда какой-нибудь максимально простой вопрос, вроде bias-variance tradeoff, могут спросить "на разогрев" перед другим скриптом. Мой любимый вопрос из этой категории – обсудить k-means и скорость различных вариантов решения проблемы.

Отвечаем на вопросы:

Кинг Конг против Годзиллы

Очевидно, выигрывает Годзилла, потому что по лору фильмов в него запускают тактическое ядерное оружие, и Годзилла это спокойно переживает. В то же время, Кинг Конга убивали обычными пулями (возможно, крупного калибра). Неоспоримо побеждает Годзилла.

Google DeepMind vs. Google Brain

Наполовину шутка, наполовину интересный вопрос про столкновение двух моделей менеджмента и довольно разной культуры. У DeepMind гораздо более вертикальная структура управления, проекты больше и масштабнее. В Brain, с другой стороны, больше индивидуальной свободы, зато проекты меньше и более гранулярные, такой традиционный полуакадемический рисерч. Что произойдёт со структурой при слиянии – загадка.

По духу мне ближе брейновская культура – я работаю в Google Research, который остаётся островком фундаментального рисерча внутри “большого гугла”.

🚀 @SBERLOGABIG вебинар по дата сайнс:
👨‍🔬 Дмитрий Кобак «Contrastive and neighbor embedding methods for data visualization» ( Контрастные методы и методы
ближайших соседей для визуализации данных )
⌚️ Четверг 25 мая, 18.00 по Москве

Add to Google Calendar

In recent years, neighbor embedding methods like t-SNE and UMAP have become widely used across several application fields, in particular in single-cell biology. They are also widely used for visualizing large collections of documents and/or images used to train modern deep learning architectures such as large language models or diffusion models. Given this academic and public attention, it is very important to understand possibilities, shortcomings, and trade-offs of neighbor embedding methods. I am going to present our recent work on
the attraction-repulsion spectrum of neighbor embeddings and the involved trade-offs. I am also going to explain how neighbor embeddings are related to contrastive learning, a popular framework for self-supervised learning of image data. This will lead to our recent work on contrastive visualizations of image datasets. In the second part of the talk, I will present our ongoing work on visualization of scientific literature, in particular biomedical research papers from the PubMed library.

О докладчике: Дмитрий Кобак - дата сайнтист в Tübingen University, один из ведущих специалистов в мире по методам снижения размерности в анализе данных.

Ссылка на зум будет в https://www.tgoop.com/sberlogabig перед докладом.
Видео записи: https://www.youtube.com/c/SciBerloga

Дмитрий Кобак – один из немногих, кто серьёзно исследует визуализацию многомерных данных. Смотрим, учимся варить tSNE.

Я не так давно эмбедил 100 миллионов вершин при помощи openTSNE – удивительно иногда, насколько быстро все работает по сравнению с тем же sklearn.

Закину сюда без особых комментариев эссе Йошуа Бенджио про AI risk. Мне показалось, очень хорошо и ясно написано для любителей технического языка и достаточно точных гипотез, без околофикшн-обёртки.