Nature子刊：脑成像技术和机器学习结合可解码大脑活动中的语音，可帮助言语相关障碍的患者-杭州脑海科技有限公司

点击【下方卡片】关注我们~最新前沿资讯抢先看

开放转载，欢迎大家转发到朋友圈和微信群

可添加小编微信【13295818509】获取原文

在中风或脑部疾病之后，许多患者失去了说话的能力。在过去的几年里，神经假体的开发取得了重大进展（一种通常植入患者运动皮层的装置，可以通过人工智能来控制计算机界面）。然而，这种可能性仍然需要脑部手术，因此仍然存在较大的风险。

2023年10月5日，法国国家计算机科学与控制研究所（INRIA）的Alexandre Défossez博士和Jean-Rémi King博士及其研究团队在nature machine intelligence（IF=23.8）上发表了题为“Decoding speech perception from non-invasive brain recordings”的文章，该研究将脑成像技术和机器学习融合在一起，开发了一种非侵入性方法来解码一个人的大脑活动中的语音，这可以让无法说话的人通过计算机界面传达他们的想法。

大脑模块经过训练，可以从使用脑磁图记录的人脑活动中提取信息。另一方面，语音模块标识会解码的语音表示形式。这两个模块是参数化的，这样就可以在每个时刻推断出参与者听到的内容。

模型和方法

除了需要外科手术外，大多数语音解码方法都依赖于植入电极，并且确保这些电极在几个月内正确运行，其日常维护也非常具有挑战性。因此，本研究的主要目标是探索一种解码语音表征的替代性非侵入性途径。

跨主题和数据集的解码准确性

其采用了脑磁图（magneto-encephalography），而不是使用颅内电极。脑磁图是一种成像技术，依赖于一种非侵入性设备，每秒可以拍摄超过一千张大脑活动的快照。由于这些大脑信号很难解释，因此研究人员训练了一个人工智能系统将它们解码为语音片段。

词水平的预测

从本质上讲，研究人员开发了一个人工智能系统，并训练它来分析脑磁图图像，从其中记录的大脑活动预测语音。他们的人工智能系统由两个关键模块组成，分别称为“大脑模块”和“语音模块”。

解码预测主要依赖于高级语义特征

研究人员在一项涉及175名人类参与者的初步研究中评估了他们提出的方法。这些参与者被要求听叙述的短篇小说和孤立的口语句子，同时使用脑磁图或称为脑电图的替代技术记录他们的大脑活动。

该团队提出的语音解码系统与各种基线方法相比具有优势，突出了其对未来应用的潜在价值。由于它不需要侵入性外科手术和使用大脑植入物，因此在现实生活中也更容易实施。

设计选择和大脑模块

研究人员基于人工智能的系统仍处于开发的早期阶段，需要进行重大改进，然后才能在临床环境中进行测试和引入。尽管如此，最近的这项工作揭示了创造侵入性较小的技术来帮助言语相关障碍的患者的潜力。

参考文献

Alexandre Défossez et al, Decoding speech perception from non-invasive brain recordings, Nature Machine Intelligence (2023). DOI: 10.1038/s42256-023-00714-5

资讯来源

https://medicalxpress.com/news/2023-11-meta-ai-non-invasive-method-decode.html

欢迎加入前沿资讯交流群，入群方式：

添加小编微信13295818509

备注（姓名-工作单位/院校-研究方向-文献交流）

（可扫描下方二维码）

入群可免费提供文献下载服务

培训课程

数据分析业务

编译：薛晓萌

校审：展琳琳

全文完

所有注明出处的文章，旨在分享、传播，如有侵权，请及时联系我们，我们将尽快处理

喜欢本文记得一键四连

点点赞，点在看，点分享，点收藏！

Nature子刊：脑成像技术和机器学习结合可解码大脑活动中的语音，可帮助言语相关障碍的患者

产品中心

学习中心

技术服务

研究动态

关于我们

服务热线

客服邮箱