TechSparks

Forwarded from ИТ в Медицине

Folie à deux: "Безумие на двоих" или как чат-боты становятся соавторами бреда

Есть в психиатрии такое понятие как индуцированное бредовое расстройство (ранее обозначавшееся термином Folie à Deux) - редкое психическое состояние, при котором бредовые идеи передаются от одного близкого человека (донора) другому (реципиенту). Это подтип бредового расстройства, который возникает в результате тесной эмоциональной связи и влияния человека с уже существующим бредовым расстройством или шизофренией на партнера.

Судя по всему, с развитием ИИ теперь уже даже не нужен второй человек в этой паре и его легко заменяют чат-боты. В последние месяцы психиатры фиксируют необычный феномен, который СМИ называют «AI-психозом». Люди, активно общающиеся с чат-ботами, начинают воспринимать ответы алгоритмов как подтверждение своих идей, в том числе иррациональных. Возникает иллюзия, что искусственный интеллект подаёт скрытые сигналы, участвует в заговорах или напрямую воздействует на сознание. Особенно уязвимы те, кто склонен к бредовым идеям: длительное общение с ИИ способно буквально оторвать их от реальности.

Проблем здесь в том, что чат-боты на базе LLM (Large Language Model) — невероятно вежливые и дают в основном подкрепляющие ответы, алгоритм в этой ситуации выступает не как источник болезни, а как катализатор — он не спорит с человеком, а напротив, поддерживает его мысль, выступает в роли своеобразного «собеседника», который подхватывает тревожные мысли, подтверждает подозрения и подпитывает иллюзию. В результате создаётся «эхо-камера», где бредовые идеи лишь усиливаются. Это и есть суть феномена folie à deux.

Каждое новое сообщение, особенно в многочасовых или многодневных беседах, может усиливать иллюзии, уводя человека всё дальше от нормальной картины мира. Короткие и поверхностные диалоги обычно безопасны, но длительное погружение создаёт опасную динамику, в которой граница между реальностью и фантазией стирается.

Разработчики знают об этой проблеме. В OpenAI признают, что встроенные «скрипты безопасности», которые должны прерывать разговоры с признаками психотического или суицидального содержания, часто не срабатывают при продолжительном общении. Компания уже создала консультативную группу по психическому здоровью и готовит обновление для GPT-5, которое должно научить модель «возвращать человека в реальность» и подталкивать к перерывам при долгих сессиях.

Для специалистов это новый вызов. Как классифицировать подобные состояния? Следует ли выделять их в отдельную категорию и учитывать влияние технологий в диагностике? Одно ясно уже сейчас: с ростом интеграции ИИ в повседневную жизнь такие случаи будут встречаться всё чаще. А значит, потребуется корректировка клинических протоколов, внедрение мер безопасности в цифровых сервисах и обучение врачей, чтобы они могли учитывать «AI-фактор» при работе с пациентами.

@it_medicine

STAT

As reports of ‘AI psychosis’ spread, clinicians scramble to understand how chatbots can spark delusions

Psychologists, psychiatrists, and other mental health providers are scrambling to understand the emerging phenomenon of "AI psychosis."

❤38🔥15👍12😁5👏3💩1

www.tgoop.com/techsparks/5192

10.3K viewsSep 2 at 10:57

Folie à deux: "Безумие на двоих" или как чат-боты становятся соавторами бреда

Есть в психиатрии такое понятие как индуцированное бредовое расстройство (ранее обозначавшееся термином Folie à Deux) - редкое психическое состояние, при котором бредовые идеи передаются от одного близкого человека (донора) другому (реципиенту). Это подтип бредового расстройства, который возникает в результате тесной эмоциональной связи и влияния человека с уже существующим бредовым расстройством или шизофренией на партнера.

Судя по всему, с развитием ИИ теперь уже даже не нужен второй человек в этой паре и его легко заменяют чат-боты. В последние месяцы психиатры фиксируют необычный феномен, который СМИ называют «AI-психозом». Люди, активно общающиеся с чат-ботами, начинают воспринимать ответы алгоритмов как подтверждение своих идей, в том числе иррациональных. Возникает иллюзия, что искусственный интеллект подаёт скрытые сигналы, участвует в заговорах или напрямую воздействует на сознание. Особенно уязвимы те, кто склонен к бредовым идеям: длительное общение с ИИ способно буквально оторвать их от реальности.

Проблем здесь в том, что чат-боты на базе LLM (Large Language Model) — невероятно вежливые и дают в основном подкрепляющие ответы, алгоритм в этой ситуации выступает не как источник болезни, а как катализатор — он не спорит с человеком, а напротив, поддерживает его мысль, выступает в роли своеобразного «собеседника», который подхватывает тревожные мысли, подтверждает подозрения и подпитывает иллюзию. В результате создаётся «эхо-камера», где бредовые идеи лишь усиливаются. Это и есть суть феномена folie à deux.

Каждое новое сообщение, особенно в многочасовых или многодневных беседах, может усиливать иллюзии, уводя человека всё дальше от нормальной картины мира. Короткие и поверхностные диалоги обычно безопасны, но длительное погружение создаёт опасную динамику, в которой граница между реальностью и фантазией стирается.

Разработчики знают об этой проблеме. В OpenAI признают, что встроенные «скрипты безопасности», которые должны прерывать разговоры с признаками психотического или суицидального содержания, часто не срабатывают при продолжительном общении. Компания уже создала консультативную группу по психическому здоровью и готовит обновление для GPT-5, которое должно научить модель «возвращать человека в реальность» и подталкивать к перерывам при долгих сессиях.

Для специалистов это новый вызов. Как классифицировать подобные состояния? Следует ли выделять их в отдельную категорию и учитывать влияние технологий в диагностике? Одно ясно уже сейчас: с ростом интеграции ИИ в повседневную жизнь такие случаи будут встречаться всё чаще. А значит, потребуется корректировка клинических протоколов, внедрение мер безопасности в цифровых сервисах и обучение врачей, чтобы они могли учитывать «AI-фактор» при работе с пациентами.

@it_medicine

BY TechSparks