Модель Brain-IT впервые точно восстанавливает изображения по сканам мозга

Новый взгляд на визуализацию мозга

Израильская команда из Института Вейцмана разработала модель Brain-IT, способную восстанавливать изображения с высокой точностью на основе данных функциональной МРТ (fMRI). Модель анализирует активность мозга, собирая информацию с 40 000 вокселей и связывая 128 областей мозга с обработкой изображений с помощью уникальной технологии Brain Interaction Transformer (BIT).

Высокая точность при ограниченных данных

Обучение Brain-IT проходило на данных восьми участников из набора Natural Scenes Dataset, включающего 73 000 изображений. Модель не только восстанавливает общий контент картинок, но и точно воспроизводит детали, цвет и расположение объектов, превосходя предыдущие разработки. Brain-IT умеет как преобразовывать мозговую активность в изображения, так и наоборот — кодировать изображения в мозговую активность.

Новые горизонты в науке и технологиях

Создатели Brain-IT подчеркивают, что такие технологии могут помочь парализованным людям общаться, открывая новые возможности коммуникации. Кроме того, модель способствует более глубокому изучению работы мозга. Пока что искусственный интеллект не способен точно декодировать видеоряд, однако в будущем разработчики надеются даже на чтение снов.

История развития технологий восстановления изображений из мозга

В 2017 году Университет Пердью представил модель для восстановления размытых изображений. В 2022 году Университет Осаки улучшил методы, используя Stable Diffusion для восстановления изображений по мозговой активности. Brain-IT выводит эту область на новый уровень, объединяя функции кодирования и декодирования.

Влияние на жизнь людей

Технология открывает новые возможности для людей с параличом и речевыми нарушениями, позволяя им выражать мысли через визуальные образы. Анализ мозговой активности помогает лучше понять внутренний мир человека. Ученые ожидают дальнейших прорывов, а чтение снов может раскрыть глубочайшие тайны человеческого сознания.