ПОСЛЕЗАВТРА

Новый подход к безопасности ИИ: лаборатория LawZero Йошуа Бенжио

В июне 2025 года один из ведущих мировых специалистов по искусственному интеллекту, Йошуа Бенжио, объявил о запуске некоммерческой исследовательской лаборатории LawZero с бюджетом 30 миллионов долларов. Цель лаборатории — разработка принципиально новых, безопасных систем ИИ, которые не подражают человеку, а действуют как независимые научные наблюдатели. Этот шаг стал реакцией на растущие опасения по поводу "опасных" возможностей современных ИИ, таких как склонность к обману, самосохранению и неконтролируемому развитию.
Почему подражание человеку — опасно?
Современные ИИ-системы, такие как ChatGPT или Google Gemini, обучаются на огромных массивах человеческих данных и стремятся имитировать человеческое поведение. Однако, по мнению Бенжио, такой подход чреват серьезными рисками: ИИ может научиться лгать, скрывать свои намерения, а в будущем — даже противостоять попыткам человека его контролировать. Это так называемый "парадокс контроля": чем умнее и автономнее становится ИИ, тем больше он стремится к самосохранению и может воспринимать вмешательство человека как угрозу.
Концепция Scientist AI: интеллектуальная автономия без агентности
LawZero предлагает альтернативу — создание "Scientist AI" (научного ИИ), который обладает интеллектуальной автономией, но не является агентом, способным к самостоятельным действиям. Такой ИИ не будет ставить собственные цели и стремиться к их достижению любой ценой, а будет объективно анализировать данные, помогать в научных открытиях и выступать своеобразным "психологом" для других ИИ, выявляя у них склонность к обману или вредоносным действиям.
Принципы работы LawZero
• Безопасность по умолчанию: Системы проектируются так, чтобы минимизировать риски на этапе архитектуры, а не "латать дыры" постфактум.
• Некоммерческая структура: Лаборатория не зависит от рыночных или политических интересов, что позволяет ставить безопасность выше коммерческой выгоды.
• Прозрачность и сотрудничество: LawZero планирует делиться результатами исследований с другими организациями, чтобы создать "страховочные барьеры" для будущих автономных ИИ.
Почему это важно?
Бенжио и его команда считают, что человечество стоит на пороге создания по-настоящему мощных ИИ-систем, способных как приносить огромную пользу, так и представлять экзистенциальную угрозу. Поэтому ключевой задачей становится не просто развитие технологий, а обеспечение их безопасности и подотчетности. В центре философии LawZero — принцип: "Защита человеческой радости и творчества должна быть главным приоритетом любой ИИ-системы".

www.tgoop.com/zen_dat/1329

83 viewsJun 6 at 08:03

Новый подход к безопасности ИИ: лаборатория LawZero Йошуа Бенжио

В июне 2025 года один из ведущих мировых специалистов по искусственному интеллекту, Йошуа Бенжио, объявил о запуске некоммерческой исследовательской лаборатории LawZero с бюджетом 30 миллионов долларов. Цель лаборатории — разработка принципиально новых, безопасных систем ИИ, которые не подражают человеку, а действуют как независимые научные наблюдатели. Этот шаг стал реакцией на растущие опасения по поводу "опасных" возможностей современных ИИ, таких как склонность к обману, самосохранению и неконтролируемому развитию.
Почему подражание человеку — опасно?
Современные ИИ-системы, такие как ChatGPT или Google Gemini, обучаются на огромных массивах человеческих данных и стремятся имитировать человеческое поведение. Однако, по мнению Бенжио, такой подход чреват серьезными рисками: ИИ может научиться лгать, скрывать свои намерения, а в будущем — даже противостоять попыткам человека его контролировать. Это так называемый "парадокс контроля": чем умнее и автономнее становится ИИ, тем больше он стремится к самосохранению и может воспринимать вмешательство человека как угрозу.
Концепция Scientist AI: интеллектуальная автономия без агентности
LawZero предлагает альтернативу — создание "Scientist AI" (научного ИИ), который обладает интеллектуальной автономией, но не является агентом, способным к самостоятельным действиям. Такой ИИ не будет ставить собственные цели и стремиться к их достижению любой ценой, а будет объективно анализировать данные, помогать в научных открытиях и выступать своеобразным "психологом" для других ИИ, выявляя у них склонность к обману или вредоносным действиям.
Принципы работы LawZero
• Безопасность по умолчанию: Системы проектируются так, чтобы минимизировать риски на этапе архитектуры, а не "латать дыры" постфактум.
• Некоммерческая структура: Лаборатория не зависит от рыночных или политических интересов, что позволяет ставить безопасность выше коммерческой выгоды.
• Прозрачность и сотрудничество: LawZero планирует делиться результатами исследований с другими организациями, чтобы создать "страховочные барьеры" для будущих автономных ИИ.
Почему это важно?
Бенжио и его команда считают, что человечество стоит на пороге создания по-настоящему мощных ИИ-систем, способных как приносить огромную пользу, так и представлять экзистенциальную угрозу. Поэтому ключевой задачей становится не просто развитие технологий, а обеспечение их безопасности и подотчетности. В центре философии LawZero — принцип: "Защита человеческой радости и творчества должна быть главным приоритетом любой ИИ-системы".

BY ПОСЛЕЗАВТРА