点击【下方卡片】关注我们~最新前沿资讯抢先看开放转载,欢迎大家转发到朋友圈和微信群可添加小编微信【13295818509】获取原文 言语产生是一种复杂的神经现象。人类如何将控制口腔、下颌和舌头精确肌肉运动的复杂神经区域与处理听到自己声音的听觉反馈的区域分开是一个复杂的问题,这也是下一代“语音假肢”必须克服的问题。 2023年10月11日,纽约大学的Ran Wang教授和Adeen Flinker副教授授及其团队在Proceedings of the National Academy of Sciences(IF=11.1)上发表了题为“Distributed feedforward and feedback cortical processing supports human speech production”的文章,创建并使用复杂的神经网络从大脑录音中重建语音,以构建失去说话能力的患者的声音。 人类语音产生是一种复杂的行为,涉及对运动命令的前馈控制以及对自产生语音的反馈处理。这些过程需要多个大脑网络协同参与。然而,很难将大脑皮层用于运动控制和与言语产生产生的感觉处理区分开来。 科研团队通过结合深度学习架构和人类神经外科监测数据,采用了一种基于规则的可微分语音合成器,以解码大脑皮层信号中的语音参数。通过实现区分因果(当前和过去的神经信号)、反因果(当前和未来的神经信号)或两者(非因果)时间卷积组合的神经网络架构,科研人员可深入分析前馈和反馈机制在语音生成中的贡献和交互作用。 语音解码框架 研究人员指出,“这种方法使我们能够解开前馈和反馈神经信号的处理,这些信号同时发生,同时我们产生自己声音的语音和感官反馈。” 投射在标准化MNI解剖图上的输入皮层脑电图的平均信号 这种方法不仅解码了可解释的语音参数,而且还提供了对参与语音构建的皮质区域的时间接受域的见解。值得注意的是,这些发现挑战了分离反馈和前馈皮层网络的流行观念。 基于解码贡献的时空接受域 这些分析揭示了混合反馈和前馈处理的微妙架构,跨越额叶和颞叶皮层。这种新颖的视角,加上卓越的语音解码性能,标志着我们对语音产生背后错综复杂的神经机制的理解有了重大飞跃。 研究人员利用这种新视角来指导他们自己开发“语音假肢”,这些“语音假肢”可以读取大脑活动并将其直接解码为语音。虽然许多研究人员正在努力开发此类设备,但纽约大学的原型有一个关键的区别——它能够仅使用一小部分录音数据集来重现患者的声音。 参考文献Wang, R., Chen, X., Khalilian-Gourtani, A., Yu, L., Dugan, P., Friedman, D., Doyle, W., Devinsky, O., Wang, Y., & Flinker, A. (2023). Distributed feedforward and feedback cortical processing supports human speech production. Proceedings of the National Academy of Sciences of the United States of America, 120(42), e2300255120. https://doi.org/10.1073/pnas.2300255120IF: 11.1 Q1 资讯来源https://medicalxpress.com/news/2023-10-reconstruct-speech-brain-illuminating-complex.htmloverthinking.html 欢迎加入前沿资讯交流群,入群方式:添加小编微信13295818509备注(姓名-工作单位/院校-研究方向-文献交流)(可扫描下方二维码)入群可免费提供文献下载服务 培训课程 数据分析业务 编译:展琳琳校审:李 杰 全文完所有注明出处的文章,旨在分享、传播,如有侵权,请及时联系我们,我们将尽快处理喜欢本文记得一键四连点点赞,点在看,点分享,点收藏!