“神经假肢”为瘫痪患者恢复语言能力

这一成果是与临床研究试验的第一个参与者合作开发的，建立在UCSF神经外科医生Edward Chang医学博士十多年的努力基础上，开发了一种技术，允许瘫痪患者即使不能自己说话也能交流。这项研究发表在7月15日的新英格兰医学杂志．

“据我们所知，这是第一次成功演示从瘫痪且不能说话的人的大脑活动中直接解码完整的单词，”加州大学旧金山分校神经外科Joan和Sanford Weill主席，Jeanne Robertson杰出教授，该研究的资深作者Chang说。“它显示出通过利用大脑的自然语音机制来恢复交流的强大前景。”

每年，成千上万的人由于中风、事故或疾病而失去说话的能力。随着进一步的发展，这项研究中描述的方法有一天可能使这些人能够充分交流。

将大脑信号转化为语言

此前，交流神经义肢领域的工作主要集中在通过基于拼写的方法，在文本中一个一个地输入字母来恢复交流。Chang的研究与这些研究有一个关键的不同之处:他的团队翻译的是用来控制发音系统肌肉的信号，而不是用来移动手臂或手来打字的信号。Chang表示，这种方法利用了语言自然流畅的方面，有望实现更快速、更有机的交流。

他说:“通过语音，我们通常以非常高的速度交流信息，每分钟可达150或200个单词。”他指出，使用打字、写作和控制光标的拼写方法要慢得多，也更费力。“就像我们在这里做的那样，直接说单词有很大的优势，因为它更接近我们通常的说话方式。”

在过去的十年里，Chang朝着这一目标的进展得到了UCSF癫痫中心的患者的帮助，他们正在接受神经外科手术，使用放置在大脑表面的电极阵列来精确定位癫痫发作的起源。这些患者都有正常的语言能力，他们自愿接受大脑记录分析与语言相关的活动。这些患者志愿者的早期成功为目前对瘫痪患者的试验铺平了道路。

此前，Chang和UCSF威尔神经科学研究所的同事绘制了与声道运动相关的皮层活动模式，这些声道运动产生每个辅音和元音。为了将这些发现转化为完整单词的语音识别，Chang实验室的博士后工程师、新研究的主要作者之一David Moses博士开发了实时解码这些模式和统计语言模型的新方法，以提高准确性。

但他们在能够说话的参与者身上成功解码语音，并不能保证这项技术在声道瘫痪的人身上也能起作用。摩西说:“我们的模型需要学习复杂的大脑活动模式和意图言语之间的映射。”“当参与者不能说话时，这就构成了一个重大挑战。”

此外，研究小组不知道控制声道的大脑信号是否对多年无法活动声带肌肉的人仍然完好无损。摩西说:“要想知道这个方法是否有效，最好的办法就是亲自尝试。”

前50个单词

为了研究这项技术在瘫痪患者中的潜力，Chang与同事Karunesh Ganguly(医学博士，神经学副教授)合作，启动了一项名为“BRAVO”(脑机接口恢复手臂和声音)的研究。该试验的第一个参与者是一名30多岁的男子，他在15年前遭受了毁灭性的脑干中风，严重破坏了他的大脑与声道和四肢之间的连接。自从他受伤以来，他的头部、颈部和四肢的活动都非常有限，他只能用绑在棒球帽上的指针在屏幕上戳字母来交流。

这名被称为BRAVO1的参与者与研究人员合作，创建了一个50个单词的词汇表，Chang的团队可以使用先进的计算机算法从大脑活动中识别出来。这些词汇包括“水”、“家庭”和“好”等词，足以创造出数百个表达适用于BRAVO1日常生活的概念的句子。

在这项研究中，Chang通过手术在BRAVO1的语言运动皮层上植入了高密度电极阵列。在参与者完全康复后，他的团队在48个疗程和几个月的时间里，记录了该大脑区域22小时的神经活动。在每个环节中，BRAVO1都试图多次说出50个单词中的每个单词，同时电极记录下他的语言皮层发出的大脑信号。

将有意言语翻译成文本

为了将记录的神经活动模式转化为特定的预期词汇，该研究的另两位主要作者，Sean Metzger, MS和Jessie Liu, BS，都是Chang实验室的生物工程博士生，他们使用了定制的神经网络模型，这是人工智能的形式。当参与者试图说话时，这些网络区分出大脑活动的微妙模式，以检测言语尝试，并识别他想说的单词。

为了测试他们的方法，研究团队首先向BRAVO1展示了由50个词汇组成的短句，并让他试着说几遍。在他尝试的过程中，这些词从他的大脑活动中被一个接一个地解码，显示在屏幕上。

然后，团队转而问他一些问题，比如“你今天怎么样?”和“你想喝点水吗?”和之前一样，BRAVO1尝试的演讲出现在屏幕上。“我很好，”和“不，我不渴。”

研究小组发现，该系统能够以每分钟18个单词的速度从大脑活动中解码单词，准确率高达93%(中位数为75%)。摩西应用的语言模型促成了成功，该模型实现了“自动更正”功能，类似于消费者文本和语音识别软件所使用的功能。

摩西把早期的试验结果描述为原则的证明。他说:“我们很高兴看到各种有意义的句子被准确解码。”“我们已经证明，用这种方式促进交流实际上是可能的，而且它有可能用于对话环境。”

展望未来，Chang和Moses说，他们将扩大试验范围，包括更多受严重瘫痪和沟通障碍影响的参与者。该团队目前正在努力增加可用词汇的数量，并提高语速。

两人都表示，虽然这项研究只关注了一个参与者，而且他们的词汇量有限，但这些限制并不影响他们的成就。摩西说:“对于一个不能自然交流的人来说，这是一个重要的技术里程碑，它展示了这种方法为严重瘫痪和语言丧失的人发声的潜力。”

该论文的合著者包括肖恩·l·梅茨格(Sean L. Metzger);Jessie R. Liu;Gopala K. Anumanchipalli博士;约瑟夫·g·马金博士;孙鹏飞博士;Josh Chartier博士;马西米兰·e·多尔蒂;Patricia M. Liu，文学硕士;Gary M. Abrams，医学博士;Adelyn Tu-Chan, DO，所有UCSF。 Funding sources included National Institutes of Health (U01 NS098971-01), philanthropy, and a sponsored research agreement with Facebook Reality Labs (FRL), which completed in early 2021.

加州大学旧金山分校的研究人员进行了所有临床试验的设计、执行、数据分析和报告。研究参与者的数据仅由UCSF收集，是保密的，不与第三方共享。FRL提供了高层反馈和机器学习建议。