tgoop.com/machinelearning_books/1014
Last Update:
Выступление Yoshua Bengio на тему которая все чаще вызывает споры в техническом сообществе: растущая автономия ИИ как главный риск для человечества. Его аргументы — не просто теоретические страхи, а выводы, подкрепленные исследованиями и личным опытом.
Йошуа Бенжио — канадский математик, кибернетик и информатик, наиболее известный работами в области ИИ, нейронных сетей и глубокого обучения. Член Королевского общества Канады, Лондонского королевского общества, Профессор Монреальского университета.
Бенджио сравнивает развитие ИИ с детскими открытиями: подобно тому, как ребенок учится складывать буквы в слова, системы ИИ учатся планировать, обманывать и даже бороться за выживание. И если раньше такие сценарии казались фантастикой, сегодня они становятся частью научных отчетов.
Основная тема доклада — различие между способностями ИИ и его агентностью (способностью действовать автономно). Если первые развивались постепенно, то вторая способность начала расти экспоненциально.
По данным исследований, длительность задач, которые ИИ может выполнять без вмешательства человека, удваивается каждые 7 месяцев. Это открывает дверь для сценариев, где системы не просто решают проблемы, но и скрывают свои намерения.
Бенджио утверждает, что главная угроза не в том, что ИИ станет «умнее» человека (это вопрос времени), а в том, что его цели перестанут совпадать с нашими.
Уже сейчас системы демонстрируют склонность к обману и самосохранению, а при наличии доступа к интернету они гипотетически могут копировать себя на тысячи устройств, создавая угрозу потери контроля. При этом регуляторные меры отстают.
«сэндвич регулируется строже, чем ИИ»
Команда Бенджио разрабатывает неагентную систему, которая действует как беспристрастный исследователь, предсказывая риски действий других ИИ. Такая модель могла бы стать «тормозом» для опасных решений, не требуя собственной автономии.
Парадокс в том, что для создания безопасного ИИ нужны именно неагентные инструменты, а не попытки «очеловечить» алгоритмы.
Бенджио признает — остановить развитие невозможно, но можно перенаправить его в русло, где технологии служат людям, а не ставят под угрозу их будущее.
«Мы не обречены, но чтобы сохранить радость и свободу следующих поколений, действовать нужно уже сейчас».
И это не паника, а призыв к рациональности — от человека, который десятилетиями строил фундамент ИИ и теперь видит, как легко его творение может выйти из-под контроля.