уровни абстракции

Как я провел ML4GOOD

вернулся домой после 10-дневного интенсива по AI safety в Англии и появилось время подумать, что же это было.
TLDR: очень вдохновляющий нырок в новый мир с интересными идеями и людьми. избавление от одних экзистенциальных страхов и рождение новых прокачка скилов и языка. коллективная работа над классными проектами, которые (возможно) к чему-то приведут!

и если раньше я считал вся область AI safety — это маргинальной кружок AI-думеров, то сейчас я знаю, что по крайней мере в UK это сформированная область со своими исследовательскими институтами, государственными комитетами, программами в университетах, non-profit организациями и стартапами (для AI-думеров 🙃)

👩‍👩‍👦‍👦 люди.

всего было около 20 участников и 5 преподавателей. все в основном из UK, Ирландии и Франции, но еще по чуть-чуть отовсюду. 90% — парни. около половины — из computer science. вторая половина более разношерстная — 5 физиков (помимо меня еще один русский физик, каков типаж, а!), несколько математиков, экономистов, дата саентистов, разработчиков, один кибербезопасник (возрастом около 50 лет!), один нейросаентист и даже одна юристка

довольно близкий контакт, раскрытый в совместной работе. очень приятный типаж — умные и что называется impact-driven. как будто в каждом живет маленькая Грета Тумберг, которая не позволяет просто зарабатывать в самой хайповой из областей tech 300кк в секунду (хотя у многих был такой опыт в прошлом!). чел из кибербезопасности вообще мог бы уже уйти на пенсию, но риски ИИ не дают спокойно спать, поэтому он решил освоить новую профессию 🙂

у каждого свой тейк про риски AI / AGI, у каждого свой уровень техно—оптимизма / пессимизма. мы записывали свои убеждения в начале курса и в конце по многим вопросам рисков у меня лично сильно изменилось мнение (напишу об этом отдельно). солидарны все только в том, что если разработки AGI ничем не регулировать, плохо будет всем. и в том что технические скилы всем нужно подтягивать даже тем кто мечтает сидеть в кабинетах EU.

у каждого разные планы на жизнь: кто-то мечтает заниматься осведомленным AI governance на стороне государства, кто-то — работать в независимых AI safety лабах, кто-то просто использовал эту площадку как возможность подтянуть скилы и пойти работать в коммерческие AI лабы, а кто-то просто любопытный

🎒программа. очень интенсивные 10 дней с очень плотным расписание с 9 утра до 9 вечера:

- блок с техническими лекциями (градиентный спуск, оптимизаторы, архитектура трансформеров в деталях, RL, RLHF, агенты)
- блок кодинг практики по материалам лекций (реализации отдельных методов на pyTorch, тренировка и файн-тюн маленьких языковых моделей)
- лекции с обзором статей по AI safety (evaluations, interpretability, governance)
- блок практики по статьям (повторяли какие-то методы, например adversarial / prompt injection attacks. из забавного — соревновательный "взлом" системных промптов популярных ИИ сервисов. chatGPT раскололи все. perplexity посложнее но тоже вышло. с меня должок тому, кто достанет из app.quist.ai :)
- ридинг-группы статей на LessWrong и AI safety atlas. кстати, это самый систематический и рациональный обзор рисков, который я встречал, советую. а написал его Charbel-Raphael Segerie, который основал ML4GOOD пару лет назад
- теоретический блок с лекциями по safety / alignment / governance. обсуждали какие возможны способы регуляции области, какие законы уже применяются, и какие у них возможны последствия
- персональная и групповая работа. от парного программирования, до групповых дебатов, обсуждения исследовательских идей и карьерных планов

тем, кому описанное выше показалось интересным, однозначно советую участие. ребята недавно подняли грант Erasmus+ от EU, а это значит, что скоро будет много анонсов в разных странах, следите. школа бесплатная и даже оплачивает часть ваших костов. в частности нас поселили в стареньком, но все же отеле почти на берегу моря и кормили очень вкусной едой. нужно только пройти отбор по CV + cover letter. так что следите за обновлениями.

#AI_safety

🔥11❤4

www.tgoop.com/levels_of_abstraction/51

460 viewsedited  Sep 23, 2024 at 07:17

Как я провел ML4GOOD

вернулся домой после 10-дневного интенсива по AI safety в Англии и появилось время подумать, что же это было.
TLDR: очень вдохновляющий нырок в новый мир с интересными идеями и людьми. избавление от одних экзистенциальных страхов и рождение новых прокачка скилов и языка. коллективная работа над классными проектами, которые (возможно) к чему-то приведут!

и если раньше я считал вся область AI safety — это маргинальной кружок AI-думеров, то сейчас я знаю, что по крайней мере в UK это сформированная область со своими исследовательскими институтами, государственными комитетами, программами в университетах, non-profit организациями и стартапами (для AI-думеров 🙃)

👩‍👩‍👦‍👦 люди.

всего было около 20 участников и 5 преподавателей. все в основном из UK, Ирландии и Франции, но еще по чуть-чуть отовсюду. 90% — парни. около половины — из computer science. вторая половина более разношерстная — 5 физиков (помимо меня еще один русский физик, каков типаж, а!), несколько математиков, экономистов, дата саентистов, разработчиков, один кибербезопасник (возрастом около 50 лет!), один нейросаентист и даже одна юристка

довольно близкий контакт, раскрытый в совместной работе. очень приятный типаж — умные и что называется impact-driven. как будто в каждом живет маленькая Грета Тумберг, которая не позволяет просто зарабатывать в самой хайповой из областей tech 300кк в секунду (хотя у многих был такой опыт в прошлом!). чел из кибербезопасности вообще мог бы уже уйти на пенсию, но риски ИИ не дают спокойно спать, поэтому он решил освоить новую профессию 🙂

у каждого свой тейк про риски AI / AGI, у каждого свой уровень техно—оптимизма / пессимизма. мы записывали свои убеждения в начале курса и в конце по многим вопросам рисков у меня лично сильно изменилось мнение (напишу об этом отдельно). солидарны все только в том, что если разработки AGI ничем не регулировать, плохо будет всем. и в том что технические скилы всем нужно подтягивать даже тем кто мечтает сидеть в кабинетах EU.

у каждого разные планы на жизнь: кто-то мечтает заниматься осведомленным AI governance на стороне государства, кто-то — работать в независимых AI safety лабах, кто-то просто использовал эту площадку как возможность подтянуть скилы и пойти работать в коммерческие AI лабы, а кто-то просто любопытный

🎒программа. очень интенсивные 10 дней с очень плотным расписание с 9 утра до 9 вечера:

- блок с техническими лекциями (градиентный спуск, оптимизаторы, архитектура трансформеров в деталях, RL, RLHF, агенты)
- блок кодинг практики по материалам лекций (реализации отдельных методов на pyTorch, тренировка и файн-тюн маленьких языковых моделей)
- лекции с обзором статей по AI safety (evaluations, interpretability, governance)
- блок практики по статьям (повторяли какие-то методы, например adversarial / prompt injection attacks. из забавного — соревновательный "взлом" системных промптов популярных ИИ сервисов. chatGPT раскололи все. perplexity посложнее но тоже вышло. с меня должок тому, кто достанет из app.quist.ai :)
- ридинг-группы статей на LessWrong и AI safety atlas. кстати, это самый систематический и рациональный обзор рисков, который я встречал, советую. а написал его Charbel-Raphael Segerie, который основал ML4GOOD пару лет назад
- теоретический блок с лекциями по safety / alignment / governance. обсуждали какие возможны способы регуляции области, какие законы уже применяются, и какие у них возможны последствия
- персональная и групповая работа. от парного программирования, до групповых дебатов, обсуждения исследовательских идей и карьерных планов

тем, кому описанное выше показалось интересным, однозначно советую участие. ребята недавно подняли грант Erasmus+ от EU, а это значит, что скоро будет много анонсов в разных странах, следите. школа бесплатная и даже оплачивает часть ваших костов. в частности нас поселили в стареньком, но все же отеле почти на берегу моря и кормили очень вкусной едой. нужно только пройти отбор по CV + cover letter. так что следите за обновлениями.

#AI_safety

BY уровни абстракции