tgoop.com/andrey_kiselnikov/1501
Last Update:
"AI Consciousness: A Centrist Manifesto"
https://philpapers.org/rec/BIRACA-4
Джонатан Бёрч выпустил "центристский манифест" по проблеме возможности сознания у ИИ. Этот манифест очень актуален в силу невероятно быстрого развития всех сюжетов психологии искусственного интеллекта. В манифесте Бёрч предлагает "центристский" подход к проблеме искусственного сознания, который отрицает ложное приписывание человекоподобного сознания современным ИИ-системам, но одновременно не исключает возможность появления ксеносознания (подлинного, но чуждого нам сознания) в глубинах "цифрового мозга" ИИ.
"We face two urgent challenges concerning consciousness and AI. Challenge One is that millions of users will soon misattribute human-like consciousness to AI friends, partners, and assistants on the basis of mimicry and role-play, and we don’t know how to prevent this. Challenge Two is that profoundly alien forms of consciousness might genuinely be achieved in AI, but our theoretical understanding of consciousness is too immature to provide confident answers one way or the other. Centrism about AI consciousness is the position that we must take both challenges seriously. The two challenges interact in ways that make this difficult. Steps to address Challenge One might undermine attempts to address Challenge Two by portraying the idea of conscious AI as impossible or inherently unlikely. Conversely, attempts to address Challenge Two might lead to higher levels of misattribution from ordinary users. This “manifesto” attempts to construct mutually consistent strategies for addressing both challenges."
Мой комментарий: ключевой вопрос, который сейчас стоит перед человечеством – это супералаймент (согласование грядущего сверхинтеллекта с человеческими ценностями), и в этом контексте не так страшно, что рядовые пользователи избыточно антропоморфизируют большие языковые модели, гораздо опаснее, что ученые могут недооценивать процессы зарождения истинного ксеносознания в глубинах этих больших языковых моделей. Ситуация глубоко асимметрична: цена этих двух ошибок радикально отличается, и цена второй ошибки – это неуспех супералаймента из-за принципиального непонимания психологами чуждого "сверхсознания" сверхинтеллекта. В прямых интересах человечества расширять свой круг эмоциональной и когнитивной эмпатии (ментализации, теории разума) к "нечеловеческим" формам сознания, несмотря на всю их потенциальную "чуждость". Конечно, лучше вообще замедлиться и действовать гораздо осторожнее, не допускать неконтролируемого прогресса ИИ, но ужесточающаяся конкуренция компаний и наций не позволит реализоваться такому осторожному замедлению. В результате, остается только эмоционально / рационально-научно стараться максимально понять это потенциально зарождающееся ксеносознание и планировать на этой основе более надежный супералаймент (если, конечно, он вообще возможен, что совершенно неизвестно, но мы должны все-таки стараться сделать все, что можем).
BY Новости психофизиологии
Share with your friend now:
tgoop.com/andrey_kiselnikov/1501