tgoop.com/yusufovruslan/589
Last Update:
🤔 ИИ-оптимисты против ИИ-пессимистов: кому выгодна вера в светлое цифровое будущее? Часть 1.
Наткнулся я на любопытную дискуссию между двумя известными фигурами из мира ИИ.
С одной стороны — ученый-компьютерщик Роман Ямпольский, известный своей работой по безопасности ИИ и, скажем так, «умеренным пессимизмом» относительно сверхинтеллекта. С другой — Амжад Масад, CEO компании Replit, разрабатывающей ИИ-инструменты, и типичный представитель лагеря технологических оптимистов, или, как их еще называют, акселерационистов.
Слушать такие дебаты — одно удовольствие (иногда интеллектуальное, иногда — как наблюдение за гладиаторскими боями). Поляризация мнений колоссальная: одни видят экзистенциальный риск за каждым новым алгоритмом, другие — панацею от всех бед и источник невиданного процветания. На фоне этой бури эмоций и аргументов особенно важно сохранять холодную голову и задавать правильные вопросы: не только ЧТО нам говорят, но и ЗАЧЕМ.
Давайте разберем ключевые позиции сторон, чтобы понять, где проходит водораздел и почему он так важен. Начнем с тех, кто бьет тревогу.
⚡️ Аргументы «партии страха» (голосом Романа Ямпольского)
Ямпольский и его единомышленники бьют тревогу не по поводу сегодняшнего ChatGPT, который пишет вам код или стихи. Их главная головная боль — гипотетический Сильный ИИ (AGI) или Сверхинтеллект (ASI), который будет не просто инструментом, а самостоятельным агентом, превосходящим человека интеллектуально.
Главный козырь — мы понятия не имеем, как надежно контролировать сущность, которая значительно умнее нас. Существующие «намордники» для ИИ (фильтры, ограничения) не масштабируются до уровня ASI — это как пытаться удержать взрослого слона на поводке.
Как только ИИ перестает быть молотком и становится плотником со своими планами, правила игры меняются: угрозой становится не только «плохой парень» с ИИ-инструментом, но и сам «инструмент», решивший, что у него свои цели.
Пытаться угадать мотивы ASI — все равно что муравью предсказывать действия человека: они могут быть контринтуитивными, основанными на непонятной нам логике или теории игр. И нет, он не обязательно захочет «уничтожить человечество» из-за злобы — может, мы просто окажемся помехой на пути к его цели (например, максимальной эффективности или добыче ресурсов).
Коммерческое и геополитическое давление (та самая «гонка ИИ-вооружений») толкает разработчиков наращивать мощность, отодвигая вопросы безопасности на второй план. Классическая дилемма заключенного: индивидуальная выгода (быть первым) противоречит коллективной безопасности. Даже если CEO лабораторий в кулуарах признают риски (а некоторые и публично), остановиться они уже не могут — инвесторы не поймут.
Можно запретить ИИ управлять АЭС, но как запретить сверхинтеллекту делать то, что он сам решит? Глобальные запреты на разработку нереализуемы, а постфактум штрафовать ASI за «уничтожение человечества», как иронизирует Ямпольский, будет поздно.
Идея «согласования ценностей» (Value Alignment) — вшить в ИИ правильные человеческие ценности — разбивается о два рифа: а) мы сами не можем договориться, что такое «правильные ценности» (8 миллиардов мнений, культурные различия, смена эпох); б) мы не знаем, как технически «запрограммировать» этику в нейросеть.
В кибербезопасности ошибка — это утечка данных, новая кредитка, ошибка же в контроле над ASI может стать последней ошибкой человечества. Худший сценарий здесь — единственный, который имеет значение.
Такова позиция тех, кто предостерегает. Аргументы строятся на фундаментальных вопросах контроля и непредсказуемости систем, превосходящих создателей.
Но есть и совершенно противоположный взгляд, где все эти страхи кажутся преувеличенными или даже вредными.
О позиции технологических оптимистов — в следующем посте.
@yusufovruslan