CVPR 2023：MinD-Video—大脑信息“可视化”-杭州脑海科技有限公司

点击【下方卡片】关注我们~最新前沿资讯抢先看

开放转载，欢迎大家转发到朋友圈和微信群

可添加小编微信【13295818579】获取原文

了解大脑活动并恢复编码信息是认知神经科学的关键目标，但由于脑信号的复杂潜在表征以及相关数据(fMRI-image) 标注的稀缺，以往的研究都主要聚焦在重建静态图像，而以高清视频形式来重构并展现大脑活动的工作还是较为有限。

2023年3月29日，新加坡国立大学的陈子娇（在读博士）、香港中文大学的卿佳鑫（在读博士）和新加坡国立大学的周涓副教授及其研究团队的题为“Seeing Beyond the Brain: Conditional Diffusion Model with Sparse Masked Modeling for Vision Decoding”已被CVPR 2023接收。研究通过MinD-Video的方法，弥合图像和视频大脑解码之间差距，从而以高清视频的形式将人类脑中的信息展示出来。

与重建一张静态图片不同，我们视觉所看到的场景、动作和物体的变化是连续、多样化的，而fMRI这项技术的本质是测量血氧水平依赖（BOLD）信号，并且在每隔几秒钟的时间里捕捉大脑活动的快照。为了弥合图像和视频大脑解码之间差距，研究团队提出了MinD-Video的方法。整体来看，这个方法主要包含两大模块，它们分别做训练，再在一起做微调。

大脑解码与图像重建

研究人员先利用大规模自监督学习与稀疏编码掩码大脑建模（Sparse-Coded Masked Brain Modeling，SC-MBM）来学习一般的视觉fMRI特征，再使用具有双条件的潜在扩散模型（latent diffusion model with double conditioning, DC-LDM)）从学习到的fMRI表征中生成可信的可见图像。

MinD-Vis. Stage A and Stage B

在第二个模块中，团队通过与增强版Stable Diffusion模型的共同训练来微调学习到的特征，这个模型是专门为fMRI技术下的视频生成而量身定制的。如此方法之下，团队也与此前的诸多研究做了对比，可以明显地看到MinD-Video方法所生成的图片、视频质量要远优于其它方法。

GOD测试集上的解码比较

BOLD5000数据集

本文在多个数据集执行定量和定性测试，包括以前未用于评估此任务的新数据集，验证了MinD-Vis的解码结果，并表明与以前的方法相比，本文提出的模型生成了更可信和语义相似的图像，将最先进的技术向前推进了相当大的一步。

此研究对神经科学带来非常多的创新的思路，也会给大脑受损或患有神经退行性疾病的患者带来福音。在脑机接口方面，为VR和AR提供更加沉浸式的体验，允许用户通过思考来控制虚拟环境，也可以实时地监控个体的情感状况，为抑郁症、焦虑症提供早期的诊断和帮助。

参考链接

[1]https://mind-video.com/

[2]https://twitter.com/ZijiaoC/status/1660470518569639937

[3]https://arxiv.org/abs/2211.06956

参考文献

Z. Chen, J. Qing, T. Xiang, W. L. Yue and J. H. Zhou, "Seeing Beyond the Brain: Conditional Diffusion Model with Sparse Masked Modeling for Vision Decoding," 2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Vancouver, BC, Canada, 2023, pp. 22710-22720, doi: 10.1109/CVPR52729.2023.02175.

资讯来源

https://hub.baai.ac.cn/view/27164

欢迎加入前沿资讯交流群，入群方式：

添加小编微信13295818579

备注（姓名-工作单位/院校-研究方向-文献交流）

（可扫描下方二维码）