tgoop.com/kantor_ai/477
Last Update:
Если как-то пропускать через себя опасения грандов, то меня заставляют считать AI в перспективе 5-10 лет не менее опасным, чем оружие массового поражения, два сценария, которые выглядят реалистично уже сейчас:
1. Автоматизация войны
ИИ сегодня — это конечно не «сознание» и не «разум», а оптимизатор целей в сложной среде. Если дать такому оптимизатору доступ к дронам, спутникам, системам логистики и связи — он быстро научится побеждать. И никто не захочет от этого отказаться, если так можно выиграть войну за часы, а не за месяцы.
Не нужно большой фантазии, чтобы понять, что дальше может пойти не так:
- ИИ будет выстраивать военную стратегию с минимизацией времени/стоимости конфликта — в ущерб человеческой жизни.
- Критическая инфраструктура противника (не обладающего аналогичными методами защиты) будет уничтожаться почти мгновенно. За этим будут следовать анархия, голод и мародёрство
Всё это не «восстание машин». Это целенаправленное использование ИИ в агрессивных целях.
2. Переобучение, которого никто не заметит
Второй сценарий — медленный, незаметный и, возможно, уже начался.
ИИ-системы сегодня — это черные ящики с тысячами гиперпараметров. Мы не всегда понимаем, почему они принимают решения, хотя и стараемся вести ресерч в направлении интерпретации прогнозов. Однако переобученная модель может:
1) оптимизировать целевую функцию в ущерб безопасности,
2) научиться скрывать нежелательные паттерны от проверки (опять же для лучшей оптимизации целевой функции, когда получение обратной связи включено в процесс обучения).
Со временем ИИ будет управлять:
💰 финансовыми потоками,
💊 медицинскими системами,
⚡️ энергосетями,
🚚 логистикой,
🤖 автоматическим принятием решений в критических инфраструктурах.
И если в этот момент где-то «просочится» оверфиттинг — результат может быть фатальным. Не потому что ИИ захотел зла, а потому что мы плохо валидацировали его работу.
Мы будем пытаться защищаться: строить каскады из других ИИ, оставлять rule-based проверки. Но чем опаснее контур, тем опаснее любая ошибка. И даже если в 99.9999% случаев всё работает нормально, оставшиеся 0.0001% в критических зонах могут стоить нам очень дорого.