На днях вышло два интересных подкаста с Neel Nanda — человеком, который стоит где-то спереди всего движения с механистической интерпретируемостью.

Neel Nanda — исследователь из Google DeepMind. Занимался независимыми исследованиями механистической интерпретируемости и работал в Anthropic в качестве исследователя интерпретируемости языковых моделей.

Много сделал для области MechInterp — помимо исследований есть блог, где много постов к изучению и библиотека TransformerLens — удобный инструмент для анализа трансформеров в рамках обучения.

Мне очень импонирует его взгляд и стремление добавлять много открытых материалов. И в целом меня вдохновляет его заявления и действия, направленные на «Эффективный альтруизм» и «Рациональность». Не могу сказать, что это что-то про меня, но как минимум — мне очень интересен поток мыслей, формирующий такую позицию. Поэтому с удовольствием слушаю подкаст сама (выделить 4 часа непросто) и делюсь здесь.

Эпизоды можно слушать в любом порядке — часть 1 не обязательна для части 2.

Эпизод 1 — Технический

Разговор о поле механистической интерпретируемости: ключевые результаты, почему Нил стал более скептично относиться к амбициозной задаче полного «реверс-инжиниринга» моделей, и его видение более прагматичного будущего направления исследований.

Эпизод 2 — Нетехнический

Как делать исследование, карьерные и жизненные советы, стоит ли пытаться попасть на работу в AGI-лабы, и много других интересных инсайтов.

Быть может, вы тоже что-то интересное смотрите/слушаете. Буду рада советам в комментариях :)