今年八月，两篇背靠背《自然》文章展示了脑机接口在语言恢复方面的强大能力，单现有的语言脑机接口技术多是为「英文等字母语言」体系构建而成，针对「汉字等非字母体系」的语言脑机接口系统研究仍是空白。
最近，先进神经芯片中心默罕默德·萨万教授团队，自然语言处理实验室张岳教授团队和朱君明教授团队联合发布了他们最新的研究结果，实现了脑机接口全谱汉语解码，一定程度弥补了国际上汉语解码脑机接口技术的空白。
图片
论文地址：https://www.biorxiv.org/content/10.1101/2023.11.05.562313v1
此项研究通过立体定向脑电技术（SEEG）采集所有普通话汉字发音过程对应的大脑内神经活动信号，结合深度学习算法和语言模型，实现了对全谱汉字发音的解码，建立起覆盖所有汉语普通话字符发音的汉语脑机接口系统，实现了大脑活动到完整普通话句子的端到端输出。
脑机接口解码汉语
脑机接口（Brain-computer interface，简称BCI）被公认为是未来生命科学和信息技术交叉融合的主战场，是具有重要社会价值和战略意义的研究方向。
脑机接口技术是指是在人或动物脑与外部设备间创建信息交换的连接通路，其实质是一种新型的信息传输渠道，让信息能够绕过原有的肌肉及外围神经通路实现与外部世界的连通，从而一定程度替代人的运动、语言等功能。
汉语作为一种象形和音节结合的语言，具有超过50000个字符，与由26个字母组合而成的英语具有显著不同，因此这对于现有的语言脑机接口系统来说是一个巨大的挑战。
为了解决这一问题，在过去三年时间里，研究团队深入分析汉语本身的发音规则和特点。从汉语发音音节的声母、声调和韵母三个要素出发，结合拼音输入系统的特点，设计了一种全新的适用于汉语的语言脑机接口系统。
研究团队通过设计覆盖所有407个汉语拼音音节以及汉语发音特点的语音库并同步收集脑电信号，构建了超过100小时的汉语语音-SEEG数据库。
通过人工智能模型训练，该系统构建了针对汉字发音音节三要素（包括声母、声调和韵母）的预测模型，并最终通过一个语言模型对所有预测得到的元素进行整合，结合语义信息生成最可能的完整汉语句子。
图片
研究团队对这一脑机接口系统在模拟日常汉语环境中的解码能力进行了评估。在超过100次随机选择的2个字符-15个字符的复杂交流场景解码测试后，所有参与者字符错误率中位数平均仅为29%，部分参与者通过脑电解码得到的句子完全正确率达到了30%。
相对高效的解码性能得益于三个独立音节元素解码器的优秀表现和智能语言模型的完美配合。特别的是在分类21个声母方面，声母解码器的准确率超过了40%（超过3倍基准线），并且Top 3正确率几乎达到了100%；而用于区分4个声调的声调解码器的准确率也达到了50%（超过2倍基准线）。
除了三个独立音节元素解码器的突出贡献以外，智能语言模型强大的自动纠错能力和上下文联系能力也让整个语言脑机接口系统的表现更为突出。
图片
这项研究为汉语这种意音文字语言的BCI解码研究提供了全新视角，也证明通过强大的语言模型可显著提高语言脑机接口系统的性能，为未来的意音文字语言神经假肢研究提供了新的方向。
该项工作也预示着神经系统疾病患者很快就能通过意念来控制计算机生成汉语句子，重获交流能力！
参考资料：
https://www.biorxiv.org/content/10.1101/2023.11.05.562313v1
