llm security и каланы

AGI when?

Коллеги по работе попросили меня ответить на вопрос: когда будет AGI (общий искусственный интеллект)? Основная проблема AGI-дискуссии в том, что вопрос на самом деле очень глубокий, а потому предполагает, что участники хотя бы называют вещи одними и теми же именами. Если подходить к обсуждению с разным пониманием, что такое AGI, скорее всего получится бесплодный спор – поэтому начать стоит именно с определения.

Мустафа Сулейман, основатель DeepMind и ныне глава Microsoft AI, вводит понятие Artificial Capable Intelligence: экономический агент, который за несколько месяцев сможет превратить инвестиции в 100000 долларов в миллион. Такую задачу он назвал "современным тестом Тьюринга". Полтора года спустя Microsoft вместе с OpenAI немного повысил ставки: AGI – это система, которая может заработать 100 миллиардов долларов. Оба этих определения, кстати, подразумевают, что ни я, ни большинство людей не обладают естественным эквивалентом AGI/ACI 🥲 С одной стороны, такое определение функциональное и его достижение легко проверить: мы даже можем составить бенчмарк типа SWE-lancer, который измеряет способность системы зарабатывать хотя бы на узком домене программной инженерии. С другой, она является нестабильной, так как по экономическим причинам подразумевает что-то вроде синглтона (наличие лишь одного доминирующего агента как минимум в своей конкретной сфере деятельности), иначе результаты ИИ-труда быстро коммодифицируются и обесценятся – не могут все вокруг одновременно столько зарабатывать.

Более радикальное определение дает шведский философ Ник Бострем. В своей одноименной книге он называет сверхинтеллектом (artificial superintelligence, ASI) такую сущность, которая радикально превосходит человека практически во всех когнитивных задачах и сферах – от социального интеллекта до креативных задач и научных исследований. ASI может быть качественным, т.е. представлять собой качественную иную форму сознания: попытки понять такую сущность будут равнозначны попыткам шимпанзе понять, как работает аналитик на Уолл-стрит. Он может быть скоростным (speed superintelligence): иметь тот же уровень с точки зрения способности к познанию или такой же когнитивный аппарат, но при этом работать в тысячи раз быстрее.

Еще одна группа определений, самая эмоционально заряженная, связана с возможностью чувствовать и моральным статусом. Например, если мы покажем, что у системы есть субъективные переживания или способность испытывать страдания, то она, исходя из наших ценностей, получает иной статус, нежели просто чат-бот: от определенных прав и защиты до возможности самостоятельно определять свою судьбу. Видно противоречие с ACI: в таком случае признание за системой морального статуса не зависит от ее способности зарабатывать деньги, иначе маленькие дети не входили бы в список обладающим интеллектом.

www.tgoop.com/llmsecurity/520

445 viewsApr 4 at 07:01

AGI when?

Коллеги по работе попросили меня ответить на вопрос: когда будет AGI (общий искусственный интеллект)? Основная проблема AGI-дискуссии в том, что вопрос на самом деле очень глубокий, а потому предполагает, что участники хотя бы называют вещи одними и теми же именами. Если подходить к обсуждению с разным пониманием, что такое AGI, скорее всего получится бесплодный спор – поэтому начать стоит именно с определения.

Мустафа Сулейман, основатель DeepMind и ныне глава Microsoft AI, вводит понятие Artificial Capable Intelligence: экономический агент, который за несколько месяцев сможет превратить инвестиции в 100000 долларов в миллион. Такую задачу он назвал "современным тестом Тьюринга". Полтора года спустя Microsoft вместе с OpenAI немного повысил ставки: AGI – это система, которая может заработать 100 миллиардов долларов. Оба этих определения, кстати, подразумевают, что ни я, ни большинство людей не обладают естественным эквивалентом AGI/ACI 🥲 С одной стороны, такое определение функциональное и его достижение легко проверить: мы даже можем составить бенчмарк типа SWE-lancer, который измеряет способность системы зарабатывать хотя бы на узком домене программной инженерии. С другой, она является нестабильной, так как по экономическим причинам подразумевает что-то вроде синглтона (наличие лишь одного доминирующего агента как минимум в своей конкретной сфере деятельности), иначе результаты ИИ-труда быстро коммодифицируются и обесценятся – не могут все вокруг одновременно столько зарабатывать.

Более радикальное определение дает шведский философ Ник Бострем. В своей одноименной книге он называет сверхинтеллектом (artificial superintelligence, ASI) такую сущность, которая радикально превосходит человека практически во всех когнитивных задачах и сферах – от социального интеллекта до креативных задач и научных исследований. ASI может быть качественным, т.е. представлять собой качественную иную форму сознания: попытки понять такую сущность будут равнозначны попыткам шимпанзе понять, как работает аналитик на Уолл-стрит. Он может быть скоростным (speed superintelligence): иметь тот же уровень с точки зрения способности к познанию или такой же когнитивный аппарат, но при этом работать в тысячи раз быстрее.

Еще одна группа определений, самая эмоционально заряженная, связана с возможностью чувствовать и моральным статусом. Например, если мы покажем, что у системы есть субъективные переживания или способность испытывать страдания, то она, исходя из наших ценностей, получает иной статус, нежели просто чат-бот: от определенных прав и защиты до возможности самостоятельно определять свою судьбу. Видно противоречие с ACI: в таком случае признание за системой морального статуса не зависит от ее способности зарабатывать деньги, иначе маленькие дети не входили бы в список обладающим интеллектом.

BY llm security и каланы