Nature子刊：无创脑机接口重要进展！类ChatGPT语义解码器重构大脑思想-杭州脑海科技有限公司

点击【下方卡片】关注我们~最新前沿资讯抢先看
开放转载，欢迎大家转发到朋友圈和微信群

可添加小编微信【13295818579】获取原文

以往研究在志愿者的大脑中放置探针，监测脑电波并解码以重建其思想的技术相对成功，但在其他应用中并不实用，如这种方法无法帮助失去说话能力的人表达思想。针对此，一种被称为语义解码器的新人工智能系统可以将一个人的大脑活动转化为连续的文本流，即，通过将有关阅读和解释的脑电波的发现应用于从fMRI扫描获得的数据，从而推进先前的研究。

2023年5月1日，德克萨斯大学奥斯汀分校的Jerry Tang博士和助理教授Alex Huth领导的研究团队在Nature Neuroscience（IF=28.771）上发表了题为“Semantic reconstruction of continuous language from non-invasive brain recordings”的研究使用“语义解码器”，以通过fMRI扫描的信息来重构思想。该研究有望帮助那些有精神意识但无法说话的人，如那些因中风而虚弱的人，再次进行可理解的交流。

与开发中的其他语言解码系统不同，该本研究的语义解码器有两个优势，其一，不需要受试者进行外科植入，是非侵入性的。其二，参与者不需要只使用规定列表中的单词。在对解码器进行广泛训练后，使用fMRI扫描仪测量大脑活动，其中参与者需要在扫描仪中收听16小时的播客。之后，如果参与者愿意解码他们的想法，他们可以听一个新故事或想象讲故事，然后让机器仅从大脑活动生成相应的文本。其原理与最近大火的ChatGPT有异曲同工之妙。

研究人员为三名被试训练了解码器，并评估了每个被试的解码器对单独的、单次试验的大脑反应，从而进行解码。此外，被试听了一些新颖的测试故事，这些故没有被用于模型训练。对此，研究人员解释说，“因为我们的解码器使用语义特征来表示语言解码器的预测，而不是运动或听觉特征捕捉刺激的意义。” 结果显示，解码后的单词序列不仅捕捉到了刺激的意义，而且甚至能够精确的单词和短语，这表明可以从BOLD信号中恢复细粒度的语义信息。

语言解码器

进而，本研究表明，大脑皮层的大部分区域在语言处理过程中是活跃的。

语言处理过程中大脑皮层活跃位置

研究人员指出，“与以前所做的研究通常是单个单词或短句，而本研究使用非侵入性方法，正在获得一个模型，可以在很长一段时间内解码具有复杂想法的连续语言。”

研究人员设计的语义解码器能够通过fMRI技术来捕捉被试所说的或想法的要点，当解码器被训练来监控参与者的大脑活动时，机器产生的文本与原始单词的预期含义非常接近（有时是精确匹配的）。

除了让参与者听或思考故事外，研究人员还要求受试者在扫描仪中观看四个简短的无声视频。语义解码器能够利用他们的大脑活动来准确描述视频中的某些事件。

解码器的应用

感知和想象的意义刺激可以由BOLD信号解码为连续语言，这标志着无创脑机接口迈出了重要一步。但研究者也指出，该系统目前不适合在实验室外使用，但这项工作可以转移到其他更便携的大脑成像系统，例如功能性近红外光谱（fNIRS）。

参考文献：

Tang J, LeBel A, Jain S, Huth AG. Semantic reconstruction of continuous language from non-invasive brain recordings [published online ahead of print, 2023 May 1]. Nat Neurosci. 2023;10.1038/s41593-023-01304-9. doi:10.1038/s41593-023-01304-9

资讯来源：

https://www.eurekalert.org/news-releases/987750

欢迎加入前沿资讯交流群，入群方式：

添加小编微信13295818579

备注（姓名-工作单位/院校-研究方向）

（可扫描下方二维码）