Santry's Singularity blog

Forwarded from Syncrets

🐭 Фильм из мышиного мозга

Буквально через пару дней после того, как прошлогодний препринт из реплая стал статьёй в Nature Neuroscience, швейцарским исследователям удалось проникнуть в «сознание» мыши, которая смотрела фильм, расшифровать сигналы ее мозга и воссоздать увиденный ею ролик.

Группа учёных из Федеральной политехнической школы Лозанны (EPFL) создала инструмент, способный декодировать сигналы мозга грызуна в режиме реального времени, в итоге воссоздавая визуальный нарратив, разворачивающийся перед глазами мыши.

Алгоритм машинного обучения, получивший название CEBRA, был обучен ассоциировать нейронную активность с определенными кадрами видео. Затем CEBRA смог предсказать и собрать клип, который показывали мыши — чёрно-белый фильм 60-х годов, в котором мужчина бежит к машине и открывает багажник. На отдельном экране отображалась интерпретация CEBRA визуального опыта мыши, которая показала поразительно похожую реконструкцию, хотя и с некоторыми сбоями.

В исследовании, опубликованном вчера в журнале Nature, подробно описано, как учёные отслеживали и документировали активность мозга грызунов с помощью электродов, вставленных в область зрительной коры, а также оптогенетических зондов (генномодифицированные нейроны в их мозге светились зеленым цветом при возбуждении и передаче информации).

Обучение CEBRA включало в себя сами фильмы, которые смотрели мыши, и данные активности их мозгов, что позволило алгоритму выстроить нейронные корреляты конкретных кадров фильма. Затем алгоритму была показана новая активность, с которой он раньше не сталкивался, от мыши, которая смотрела слегка отличный видеоряд. На основе этого CEBRA смог предсказать, какой кадр смотрела мышь в режиме реального времени, и исследователи превратили эти данные в собственный фильм.

Это не первый случай, когда исследователи декодируют сигналы мозга для создания изображений. В прошлом месяце PetaPixel сообщил об исследователях из Университета Осаки (Япония), которые в марте смогли восстановить высокоточные изображения высокого разрешения на основе активности мозга с помощью Stable Diffusion.

А ещё в августе прошлого года Университет Радбоуда в Нидерландах разработал технологию, которая может переводить мозговые волны человека в фотографические изображения.

P.S. Дабы снизить насилие журналистов над учёными: «Круто, но не так круто как я думал: они не восстановили картинку de novo, но всего лишь сумели определить какой именно кадр из данного фрагмента фильма мышь смотрит прямо сейчас, обучив модельку на множестве других мышей но на том же самом куске видео». Комментарии под видео также говорят об этом.

За наводку и уточняющие комментарии спасибо подписчикам 💓

Please open Telegram to view this post

VIEW IN TELEGRAM

YouTube

Predict what a mouse sees by decoding brain signals

A research team from EPFL has developed a novel machine-learning algorithm that can reveal the hidden structure in data recorded from the brain, predicting complex information such as what mice see.

DOI: https://doi.org/10.1038/s41586-023-06031-6
Altmetric:…

www.tgoop.com/SantryBlog/420

1.0K viewsMay 4, 2023 at 12:12

🐭 Фильм из мышиного мозга

Буквально через пару дней после того, как прошлогодний препринт из реплая стал статьёй в Nature Neuroscience, швейцарским исследователям удалось проникнуть в «сознание» мыши, которая смотрела фильм, расшифровать сигналы ее мозга и воссоздать увиденный ею ролик.

Группа учёных из Федеральной политехнической школы Лозанны (EPFL) создала инструмент, способный декодировать сигналы мозга грызуна в режиме реального времени, в итоге воссоздавая визуальный нарратив, разворачивающийся перед глазами мыши.

Алгоритм машинного обучения, получивший название CEBRA, был обучен ассоциировать нейронную активность с определенными кадрами видео. Затем CEBRA смог предсказать и собрать клип, который показывали мыши — чёрно-белый фильм 60-х годов, в котором мужчина бежит к машине и открывает багажник. На отдельном экране отображалась интерпретация CEBRA визуального опыта мыши, которая показала поразительно похожую реконструкцию, хотя и с некоторыми сбоями.

В исследовании, опубликованном вчера в журнале Nature, подробно описано, как учёные отслеживали и документировали активность мозга грызунов с помощью электродов, вставленных в область зрительной коры, а также оптогенетических зондов (генномодифицированные нейроны в их мозге светились зеленым цветом при возбуждении и передаче информации).

Обучение CEBRA включало в себя сами фильмы, которые смотрели мыши, и данные активности их мозгов, что позволило алгоритму выстроить нейронные корреляты конкретных кадров фильма. Затем алгоритму была показана новая активность, с которой он раньше не сталкивался, от мыши, которая смотрела слегка отличный видеоряд. На основе этого CEBRA смог предсказать, какой кадр смотрела мышь в режиме реального времени, и исследователи превратили эти данные в собственный фильм.

Это не первый случай, когда исследователи декодируют сигналы мозга для создания изображений. В прошлом месяце PetaPixel сообщил об исследователях из Университета Осаки (Япония), которые в марте смогли восстановить высокоточные изображения высокого разрешения на основе активности мозга с помощью Stable Diffusion.

А ещё в августе прошлого года Университет Радбоуда в Нидерландах разработал технологию, которая может переводить мозговые волны человека в фотографические изображения.

P.S. Дабы снизить насилие журналистов над учёными: «Круто, но не так круто как я думал: они не восстановили картинку de novo, но всего лишь сумели определить какой именно кадр из данного фрагмента фильма мышь смотрит прямо сейчас, обучив модельку на множестве других мышей но на том же самом куске видео». Комментарии под видео также говорят об этом.

За наводку и уточняющие комментарии спасибо подписчикам 💓