Santry's Singularity blog

​​Может быть, у нас уже есть сбежавшие ИИ

В Задаче трех тел Лю Цысиня описан компьютер, состоящий из миллионов живых существ. Они выстроены в строгом порядке фоннеймановской архитектуры на необъятной площади и по командам поднимают флажки, выполняя роль логических элементов. Вроде бы фантастическая идея, но я сразу вспомнил о ней, открыв книгу: "Передача: как мы отдали контроль над нашими жизнями корпорациям, государствам и ИИ". Ее автор - Дэвид Ренсимен - английский академик и преподаватель в Кембриджском университете утверждает, что "изобретение государств и корпораций может чему-то научить нас об ИИ и наоборот" (рекомендую рецензию The New Yorker).

В основе его рассуждений идея о том, что достаточно сложные социальные структуры, например, государства и большие компании приобретают долю агентности, фактически действуют сами по себе. Вы можете единожды задать такой системе некую цель, например, выпуск продукции, но не можете до конца предсказать, как именно она в итоге будет выполнена, и к каким побочным эффектам это приведет. Поведение корпораций напоминает искусственный интеллект в представлении обеспокоенных ученых, только вместо графических процессоров, обработку данных здесь выполняют отдельные люди. Впрочем, они не могут повлиять на работу системы в целом и часто даже не знают, какие цели она преследует.

Возможно, бостромовский ИИ-максимизатор скрепок, перерабатывающий планету на канцелярию, уже существует. Только он, например, заваливает все вокруг пластиковым мусором в погоне за прибылью.

"Давайте не будем обманывать себя, что эпоха ИИ с проблемой черного ящика и алгоритмами, результаты работы которых загадкой для их создателей, представляет собой уникальную проблему. Просто посмотрите на свою жизнь. Вы полностью понимаете, откуда берутся групповые решения и как формируют то, кем вы являетесь?", - пишет Ренсимен. "Тот факт, что группы состоят из людей, не делает их более простыми для понимания, чем другие виды машин. Черные ящики уже повсюду вокруг нас. В каком-то смысле, они и есть мы".

Никак не пойму, обнадеживающая это мысль или нет.

#футурология

www.tgoop.com/SantryBlog/502

1.8K viewsedited  Dec 29, 2023 at 16:01

​​Может быть, у нас уже есть сбежавшие ИИ

В Задаче трех тел Лю Цысиня описан компьютер, состоящий из миллионов живых существ. Они выстроены в строгом порядке фоннеймановской архитектуры на необъятной площади и по командам поднимают флажки, выполняя роль логических элементов. Вроде бы фантастическая идея, но я сразу вспомнил о ней, открыв книгу: "Передача: как мы отдали контроль над нашими жизнями корпорациям, государствам и ИИ". Ее автор - Дэвид Ренсимен - английский академик и преподаватель в Кембриджском университете утверждает, что "изобретение государств и корпораций может чему-то научить нас об ИИ и наоборот" (рекомендую рецензию The New Yorker).

В основе его рассуждений идея о том, что достаточно сложные социальные структуры, например, государства и большие компании приобретают долю агентности, фактически действуют сами по себе. Вы можете единожды задать такой системе некую цель, например, выпуск продукции, но не можете до конца предсказать, как именно она в итоге будет выполнена, и к каким побочным эффектам это приведет. Поведение корпораций напоминает искусственный интеллект в представлении обеспокоенных ученых, только вместо графических процессоров, обработку данных здесь выполняют отдельные люди. Впрочем, они не могут повлиять на работу системы в целом и часто даже не знают, какие цели она преследует.

Возможно, бостромовский ИИ-максимизатор скрепок, перерабатывающий планету на канцелярию, уже существует. Только он, например, заваливает все вокруг пластиковым мусором в погоне за прибылью.

"Давайте не будем обманывать себя, что эпоха ИИ с проблемой черного ящика и алгоритмами, результаты работы которых загадкой для их создателей, представляет собой уникальную проблему. Просто посмотрите на свою жизнь. Вы полностью понимаете, откуда берутся групповые решения и как формируют то, кем вы являетесь?", - пишет Ренсимен. "Тот факт, что группы состоят из людей, не делает их более простыми для понимания, чем другие виды машин. Черные ящики уже повсюду вокруг нас. В каком-то смысле, они и есть мы".

Никак не пойму, обнадеживающая это мысль или нет.

#футурология

BY Santry's Singularity blog