王仲朋,年于河北工业大学获得学士学位,现为天津大学生物医学工程专业在读博士研究生。主要研究方向为神经康复与脑-机接口。
何峰,现为天津大学副教授,主要研究方向为神经工程、生物医学信息处理等。
明东,现为天津大学教授,主要研究方向为神经工程与康复、生物医学信息处理等。
摘要:无需肢体神经肌肉接触便可实现人与外界机器设备信息交互、使“思想”变成“行动”的脑-机接口(Brain-ComputerInterface,BCI)是脑神经科学与工程技术结合的新产物,亦是临床神经功能康复与运动辅助控制的新技术,可望为部分或完全丧失语言交流与肢体运动控制能力患者(如脑卒中、脊髓损伤、脊髓侧索硬化等疾病)提供全新的增强治疗与康复手段,但目前实际应用尚存在信息处理效率欠高、康复训练时间过长、控制模型通用性差等技术瓶颈。本文综述了上述技术难点并以运动想象(Motorimagery,MI)BCI和BCI拼写器(Speller)为典型介绍了其可能的模型优化策略和解决方案,最后展望了未来BCI发展方向。
1引言
脑科学定义为:研究脑结构和功能的科学,其核心是以大脑为主体的认知神经科学。随着世界各强国纷纷吹响探索大脑奥秘号角,我国亦提出了以解密大脑认知功能、攻克大脑神经疾病为科研导向和以发展类脑人工智能技术为应用目标的“中国脑计划”。其中,脑-机接口(Brain-ComputerInterface,BCI;或Brain-MachineInterface,BMI)的研究与开发是“脑计划”的重要内容之一。BCI是脑认知神经科学与工程技术的一种新型交互结合方式,可以无需采用常规的肢体神经肌肉接触便能实现人与外界机器设备的思维信息交互、使“思想”变成“行动”,现已成为脑科学研究、大脑认知机制解密的全新“窗口”。年首届脑-机接口国际会议定义BCI为:“一种不依赖于通常外围神经和肌肉组成大脑输出通路的对外交互控制系统。”年Wolpaw等从神经生理学角度给出了更为严谨的BCI定义:“脑-机接口是一个可以改变中枢神经系统与大脑内外环境之间交互作用的系统,它通过检测中枢神经系统(CentralNervousSystem,CNS)活动并将其转化为人工输出来替代、修复、增强、补充或改善CNS的正常输出。”可见经十几年实践,科学家已体验到:BCI技术不仅仅能为大脑搭建新的对外交流通路来替代常规交互方式,而更为重要的是:BCI可修复、增强、补充或改善CNS对外交互状态,使之性能趋于正常甚至更优!这意味着,BCI在康复医学(尤其脑神经疾病)临床具有诱人的潜在应用价值,如可针对完全或部分丧失交流控制能力患者(脑卒中、脊髓损伤、脊髓侧索硬化等病症)提供全新的增强治疗与康复手段以恢复其语言功能、运动能力。
图1
图1所示为至年BCI相关文献数量在Scopus和Pubmed数据库中的统计结果。可见进入21新世纪以来BCI/BMI研究呈指数增长,技术应用也飞速发展,日益彰显其重要科学意义与应用价值。
随着神经科学、工程学、心理学、计算机科学和康复医学等学科飞速发展,BCI/BMI技术应用已广泛涉及康复医疗、生活娱乐、交通运输、工业控制与国防军事等领域。其中,针对脑神经系统损伤所致运动功能障碍疾患,采用BCI技术进行损伤修复、补充或功能替代、增强与改善的康复治疗成果更为突出,为人类健康事业带来了希望。
目前临床康复医学中主要有三种用于修复或辅助脑神经受损病患与外界交互控制的途径。其一是利用功能尚存的神经通路或肌肉取代受损的神经通路或肌肉(如患者可通过眼动或肢体动作代替语音与外界进行交流对话),该途径虽简单有效,但很受病情局限;其二是安装与受伤部位神经或肌肉相匹配并可替代相应功能的外部设备(如以帮助脊髓受损患者恢复肢体运动功能的神经假肢),该方案须有精细外科医术与精密器械制造功底做后盾,实施困难较大;其三则是:为大脑提供一个全新的非神经肌肉输出通道(即BCI),通过检测大脑CNS活动并将其思维意愿直接转化为控制外界设备操作指令以替代、修复、增强、补充或改善CNS的相应功能。显然,该方法无需受限于功能尚存的神经通路或肌肉,也不必依赖于现有高精尖技术,而只需设计好功能独到、操控随心、反应灵敏的BCI便可。
然而,由于目前BCI系统尚存在所采集的头皮脑电信噪比较低,从中提取反映大脑思维意愿信息并将之转化为控制指令的程序过于复杂使之信息传输率(Informationtransferrate,ITR)难以提高,进而造成系统自校准时间较长、因个体差异导致模型通用性较弱等一系列技术瓶颈问题,以致其研究成果的推广应用及商业化转换与临床化进程迟缓。虽然一些性能优良硬件的投入与多种优秀BCI实验范式及系统结构的成功设计和开发已促使BCI技术经近十年的高速发展,之后基于传统应用目的和设计原则的BCI技术已渐渐达到其发展的第一个平台期,而当前BCI技术进入了机遇与挑战并存的全新发展阶段(参见图2所示BCI技术发展至今的趋势示意)。
图2
下文拟先综述BCI在临床神经功能康复与运动辅助控制的主要技术难点,再以运动想象(Motorimagery,MI)BCI和BCI拼写器(Speller)为典型介绍可能克服上述技术瓶颈的模型优化策略和解决方案,最后展望了BCI未来发展方向,旨在促进BCI迈向新的应用前程。
2BCI临床神经功能与运动康复应用的技术优势和难点及其解决方案如前述,BCI/BMI研究与开发及其应用的飞速发展得益于全世界“脑计划”的实施。自上世纪90年代美国推出“脑的十年”计划开始,进入21世纪以来,欧、美、日及中国相继提出“推进创新神经技术脑研究计划”,巨大科研投入极大促进了相关技术革新与应用,BCI/BMI作为其中新兴交叉技术的翘楚亦得到了空前发展与实际应用。其中尤以在脑神经疾病治疗与运动功能康复临床应用令人瞩目,凸显其特有的优势。
2.1BCI在临床康复与辅助控制中的技术优势
长期以来,脑卒中(Stroke,俗称中风)等脑神经受损累及运动功能障碍疾病的临床康复成为医学一大难题。而基于脑电的运动想象脑-机接口(MI-BCI)技术可直接解码大脑CNS的运动思维信息并构成脑-机反馈环路以辅助病人进行“所动即所思”的理想运动康复训练。MI-BCI在中枢神经可塑理论指导下,为运动想象疗法在脑神经康复临床中的应用开拓了全新思路。
应用BCI技术进行运动康复训练不仅可以使中风患者重新获得控制患肢的能力,而且可建立主动式闭环刺激反馈,进而实现运动功能重建。更重要的是通过BCI对CNS功能活动的测量和反馈使患者大脑参与康复训练的过程变得可观察。这带来了两方面的优势:第一,传统运动康复训练中几乎不可观察并难以控制患者的主动参与性,成为困扰临床医生的大问题,而MI-BCI可以很好地监控患者的主动参与度;第二,由于传统运动康复会产生大量代偿训练行为,患者极易习惯性地采用一些不当动作来完成康复任务,以致严重降低康复训练效果,因此需要在康复过程中严密控制和及时矫正患者误动作,这也给临床医师设置了难题,而MI-BCI则能提供很好的靶向任务调控手段。当前,MI-BCI和功能性电刺激(Functionalelectricalstimulation,FES)相结合的MI-BCI-FES康复训练已成为中风治疗的热门方法。有关研究表明MI-BCI-FES比传统单一FES对中风康复治疗更为有效;并对MI-BCI系统模型及识别方法优化进行了深入探索;作者所在天津大学神经工程与康复实验室研究与开发了基于MI-BCI-FES系统的“神工”系列康复机器人,临床试用已为中风后患者带来新的康复希望;应用BCI辅助神经损伤修复与运动功能康复方法学及其疗效评价已成为该领域新的研究焦点。
另外,BCI技术对于一些不可修复型神经损伤(如脊髓损伤(Spinalcordinjury,SCI)、肌萎缩性脊髓侧索硬化症(Amyotrophiclateralsclerosis,ALS)等疾患)人群的功能替代或辅助也显示出其独特的优势,这也与它搭建大脑对外交互控制通路的基本定义相契合。BCI可通过解码用户大脑信息转化为外设控制指令,从而通过外设控制代替用户本身的表达或行动。BCI拼写器(Speller)即为该领域应用典型,BCI-Speller系统可辅助语言障碍人群通过视觉或听觉范式对外交流与控制。其它如BCI控制轮椅、外骨骼等肢体运动辅助设备可帮助丧失行动能力的人群重新获得部分行为控制能力;很多系统优化模型研究也令BCI成果应用逐渐向便携化、生活化转变。
2.2BCI临床康复与辅助控制应用中的技术难题
尽管BCI在临床康复与辅助控制应用中有显著优势,但距离产业化推广应用阶段尚有不少亟待解决的技术难题,可归纳为以下几个方面。
1)系统信息传输效率较低。常用BCI多采集头皮脑电以提取大脑思维信息,而原始信号本身信噪比低,且采集过程中夹杂着不少干扰成分,进而导致思维信息识别率低、分析处理程序复杂、所付时间代价也大,难以实际推广应用。因此,不少BCI技术尚局限于实验室成果演示而不能满足临床康复应用需求。
2)系统校准训练时间较长。BCI须准确识别大脑思维信息才能控制外部设备以精准辅助患者进行正确的康复运动,为此需先对BCI做学习训练以建立实际可行的系统模型。但当前大多数BCI系统模型尚未经足量学习训练。因此BCI使用时为达到一定识别精度要求,往往无法完全脱离系统校准的模型训练阶段,进而使患者在接受康复治疗过程中不得不投入过多精力于模型训练,易产生疲惫感甚至抵制情绪。尤其一些特殊病人根本无法接受这种疲劳康复训练“治疗”。
3)康复训练过程的反馈监测信息单一。如前述MI-BCI中风康复系统多只给用户和医师予简单视觉或听觉反馈监测,缺乏实时的运动想象程度量化信息或明确的康复进程反馈信息与监测提示。如此不能起到促进康复训练、提高治疗效果的积极推动作用。
4)跨人识别和个体识别的难以兼容。BCI康复治疗使用人群较广,脑卒中、脊髓损伤、脊髓侧索硬化症等疾患病人所需治疗要求、训练方案皆不相同。因此BCI系统模型如何兼顾个体特殊性和跨人普适性要求是一大挑战。针对未来系统普适性的要求,实现跨个体识别是BCI模型必然趋势,然而又需要其仍适用于特殊个体,即要求在二者之间博弈中建立最佳的BCI系统模型。
5)BCI系统模型自适应性较差。所谓自适应性是指自动根据数据特征调整其处理顺序、参数、边界或约束条件,使其与所处理数据的统计分布、结构特征相适应,以取得最佳处理效果。当前大多数BCI系统模型尚难以达到上述自适应数据处理水平,无法满足自适应交互控制的要求。
6)尽管BCI技术为神经科学与工程技术的新型结合产物,优良的学科交叉特性为其发展提供了广阔的应用前景,然而现阶段尙难以对BCI性能进行系统的科学评价,制定科学统一的BCI性能评价标准以推进BCI在临床康复与辅助控制中的实际应用仍是当前重要任务。
下节将针对以上存在问题,以MI-BCI和BCI-Speller为典型系统介绍可能克服上述技术瓶颈的模型优化策略和解决方案。
2.3针对BCI临床应用技术难点的技术方案
2.3.1MI-BCI系统中的识别模型自适应更新方法
目前MI-BCI系统设计大多只存在用户运动想象到指令输出的单向控制通路,缺乏指令输出后的用户反馈(体验信息),因而降低了系统模型运行的自适应性和用户识别的普适性。为此需在指令输出端与用户间建立信息反馈通路,设计能实时地按用户运动想象模式调节系统控制指令的自适应反馈控制界面,令运动想象过程可视化,才可更好地引导其进行主观意念控制康复训练,提升临床康复效果。这对提高BCI系统信息传输效率、缩短系统校准训练时间、丰富康复训练反馈监测信息、增强系统跨人识别普适性均有益处,对推动BCI系统临床实用化具有重要意义。
据此,作者所在课题组进行了系统性的实验研究,图3(a)为用户信息反馈子系统设计示意框图。该系统主要由可穿戴头皮脑电采集器(Emotiv)、计算机、可视反馈界面(能在Matlab平台下进行目标任务、想象次数、训练难度等参数设置的编程设计)和蓝牙传输模块构成。图3(b)所示为Emotiv采集14通道与运动相关脑电信号的导联(AF3、AF4、F3、F4、F7、F8、FC5、FC6、T7、T8、P7、P8、O1、O2)位置示意。
MI-BCI系统实验流程简述如下:用户静坐于屏幕前并注视提示界面进行运动想象(如假想左手或右手抬起),Emotiv同步采集想象运动相关脑电数据并经放大、滤波后由蓝牙模块传入笔记本电脑;此后脑电数据经处理提取其中运动想象特征信号并用于实验任务的模式识别;识别后随即输出控制指令至外部设备使其按指令动作,产生人脑想象的实时运动;同时将动作效果信息传送至虚拟反馈界面形成人脑运动想象动作相应的视觉反馈,引导用户主动改进想象方式实现更好的靶向控制,从而构成一个闭环反馈控制系统。最终反馈界面将根据用户训练实验情况给出评分。
图3
MI-BCI系统在线实验流程如图4(a)所示。在无初始模型下先后采集用户静息30s与运动想象20s的脑电数据,并计算MI期间的事件相关去同步(event-relateddesynchronization,ERD)能量值,生成初始判定阈值;然后进入20s的MI游戏反馈训练,达到阈值则输出目标指令反馈结果;经过两轮反馈训练,利用积累的数据建立共空间模式(Commonspatialpattern,CSP)+支持向量机(Supportvectormachine,SVM)模型,形成更稳定的阈值判定标准;如此反复训练,利用新数据不断更新模型,进一步提高模型适用性,从而提高系统识别精度及稳定性。
该系统模型采用的在线数据处理流程如图4(b)所示:用户面前的反馈控制界面会提示其进行动作想象;每次采集当前2s的脑电数据,运用SVM方法进行特征提取与分类识别;若动作特征大于决策阈值时,则触发动作指令、执行目标动作,并将动作信息显示于反馈界面;反之,则不执行目标动作也无动作信息反馈。图5所示为10名健康受试者在两种不同模型更新策略下分别进行五次MI-BCI在线训练实验时系统模型更新的正确率平均结果,表明MI-BCI系统识别精度可随模型更新而提高,且应用自适应模型更新策略的BCI识别精度提升效果会更显著、更稳定。
图4
图5
综上可见,用于临床康复与辅助控制的BCI系统应尽可能在设备输出指令与用户间建立信息反馈通路及其自适应反馈控制界面,使用户操作意愿及其指令控制的过程可视化(或可感知),才可更好地引导用户进行主观意念控制的康复训练。该方案作为一项原理性技术方法,可拓展适用于其他BCI系统范式,为目前高效率加快BCI自适应系统模型优化、提升临床康复效果、促使其克服上述技术瓶颈以适应大规模产业化推广应用提供了参考依据。
2.3.2BCI-Speller系统中的动态停止判别策略研究
BCI-Speller系统主要用于辅助语言障碍人群对外进行信息交流。信息传输速率(InformationTransmissionRate,ITR)是评价其性能的重要指标,然而目前其ITR尚远不能满足实用要求。主要原因在于其系统模型设计多为针对固定指令集与固定次数视觉刺激后的指令输出模式,缺乏弹性灵活的指令输出,使其系统速度和正确率会相互制约,从而影响ITR的提高。于是字符指令输出决策方式的设计成为研究热点之一,实践也证明:通过改变判别指令输出策略能够有效地改善视觉BCI-Speller的性能。由此启示:考虑系统速度、正确率之间的平衡问题,提供一种新型的动态停止判别指令输出的策略,对于BCI-Speller系统的实用化研究具有重要意义。
图6为典型视觉BCI-Speller系统模型基本设计示意,含P视觉编码刺激、脑电采集放大与处理及指令控制和显示等单元。系统采集6个通道(Fz,Cz,Pz,Oz,P7,P8)的脑电数据。实验时,受试者注视屏幕上Oddball范式闪烁刺激,同步采集视觉诱发所得脑电经处理提取相应的P电位特征信号,再依据这些特征进行实验任务的模式识别,进而应用基于贝叶斯准则下动态停止标准(DynamicStoppingCriterion,DSC)决策阈值判别指令输出与否。
图6
该系统模型的核心问题是寻求最佳动态停止标准以实现自适应地发送视觉刺激指令并能以最高ITR在线输出BCI结果。基本DSC算法流程如图7所示,其系统背景为BCI-Speller,分类算法为线性判别分析(Lineardiscriminantanalysis,LDA)。
图7上面处理流程应用Kernel密度估计算法(适用高斯分布数据)分别得到目标字符概率密度p(xi
H1)和非目标字符概率密度p(xi
H0),其中xi表示分类器对于一次闪烁的输出,H1(H0)表示是否为目标字符出现。所得概率参数将作为先验知识用于在线数据处理的实时控制,算法流程如图7下面所示。该过程关键在于根据概率参数和在线数据分类器输出后验概率(posteriorprobability)所得闪烁字符是否为目标字符进而决定是否需要继续下一轮次的闪烁刺激。
图7
每次贝叶斯概率更新之后都会与阈值相比较,当概率值大于设定阈值(代表正确字符是否已被选出的置信度)即输出当前决策结果。阈值是比较多次实验结果的择优经验值,阈值大小直接影响到正确率和运算时间的矛盾组合。
依据该优化策略,作者所在课题组进行了相应实验测试研究。图8对比了5名受试者应用该在线BCI-Speller系统分别采用DSC模型与传统静态标准(StaticStateCriterion,SSC)模型下的信息传输率,结果表明应用DSC策略可明显提高BCI-Speller信息传输率。
总之,采用基于贝叶斯准则下动态停止判别策略可灵活调控BCI-Speller的指令输出,能够自适应、动态地实现脑控拼写过程,即优化调整了其系统模型,克服了传统静态闪烁刺激范式存在的信息传输速率低的缺陷,更接近实际应用,有望为新型BCI-Speller提供关键技术保障。该研究也为同原理结构的BCI系统范式提供了关键优化改进方法,有力推进BCI尽快步入大范围应用。
此外,迁移学习(Transferlearning)、语言模型(Languagemodels)、滤波频带组共空间模型(FilterBankCommonSpatialPattern,FBCSP)等很多BCI系统模型优化策略与技术方法近年来被研究试用,从原理结构、系统范式、场景适用性等方面拓展了BCI技术革新的全新思路,为BCI系统模型的不断优化完善及克服上述技术瓶颈提供了新的解决方案,不断促进其向实用化、商业化应用发展。
图8
3BCI技术的未来发展及应用方向年6月,第五届脑-机接口国际会议在美国成功召开,来自29个国家个研究团队的位BCI专家参加了本次会议[52]。与历届BCI国际会议一样,会议主题延续了之前的广谱性,涉及研究领域涵盖了神经科学、工程学、应用数学、计算机科学、心理学和康复工程等诸多领域。本届BCI国际会议有两个重大改革:其一,特邀有严重残疾的BCI用户参会,向大会表达了使用相关BCI设备的亲身体会和对未来BCI研究开发的重要需求与愿望。他们的积极参与对BCI系统研发目标选择和思路与方法的创新,皆有重要的启迪作用,并为BCI未来的性能改进和实用性发展指明了方向。其二,大会首次强调了关于BCI发展和使用的伦理性问题,并进行了有关BCI功能的专题讨论,说明随着BCI系统性能增强和应用范围扩大,必须密切治白癜风有什么土方伍德灯检查一次花多少钱