党的十八大以来天津这五年创新篇⑧ ：群星辉映

根据世卫组织估算，全球有超过3.5亿抑郁症患者，基本上每20人中就有1人遭受抑郁症的折磨。在重度抑郁症患者中，有20%-30%的难治性抑郁症患者面临无药可用、无医可治的困境。

近日，上海交通大学智能交互与认知工程上海高校重点实验室吕宝粮团队与上海零唯一思科技有限公司联合推出的情绪“x”光机，或许意味着未来人类可以像测体温或量血压那样，客观、定量地检测自己日常的情绪状态。

当你坐在电脑前，戴上专用的脑电帽，根据屏幕上的程序提示观看视频、油画、人脸照片等情绪诱发素材，通过专门开发的多模态情绪识别模型，便可以科学地评估自己的情绪状态，并提供抑郁状态的预警。

脑机接口技术会在抑郁症的幽暗隧道中投下微光吗？

情感脑机接口究竟是什么？

它将如何改变我们的生活？

如何利用情感脑机接口技术

提升抑郁症的诊断效果？

以下是我们与吕宝粮的对话。

01

破解“薛定谔的情绪”

@上海科技

情绪“x”光机通过采集和解码脑电信号和眼动信号，帮助人们科学地判断情绪好坏，预警抑郁状态。我们的情绪类型这么丰富，都可以从这些信号里解读出来吗？

@吕宝粮

神经科学研究表明，情绪非常复杂，没有单一的生理指标能够精确地描述人的情绪。在学术界和工业界，传统研究往往集中于将面部表情作为情绪表达的窗口，但我认为这种方法存在局限性。面部表情虽然与情绪有一定的关联，但不足以作为表征情绪状态的可靠的生物标志物。比如你即使内心很焦虑，也能表面假装很平静。心率、皮肤阻抗、呼吸等其他的生理信号，也与情绪有关，但是它们与情绪的关联性都不如脑电信号。

情绪“x”光机的研究目标是利用多模态情感脑机接口技术实现对抑郁症的客观评估，其核心技术是开发高效的情绪诱发范式和情绪诱发素材，通过采集患者和正常人的大规模多模态生理数据，寻找抑郁症客观评估的数字生物标记物。目前的情绪“x”光机采用了深度学习算法和脑电大模型，能够自动识别六种基本情绪，即高兴、悲伤、恐惧、愤怒、厌恶和惊讶，以及中性情绪。

@上海科技

将脑电信号与眼动信号融合的情绪识别方法，是您及团队2014年首次提出的一种新的多模态情感脑机接口框架。为什么选用脑电信号和眼动信号融合？二者的结合，为什么可以显著提升情绪识别的准确率？

@吕宝粮

情绪是在外界刺激条件下人的复杂生理、物理变化过程，单一模态的生理信号难以捕捉到复杂的情绪变化。单一的脑电或眼动信号往往受限于噪声和表征能力的限制，可能无法准确地区分各种不同的情绪状态。针对这一问题，我们提出了多模态融合的情绪识别框架。通过融合脑电和眼动这两种生理信号，我们可以从不同的视角表征复杂的情绪状态，从而显著地提升了情绪识别的精度和可靠性。

我们的实验结果表明，脑电信号和眼动信号对三类情绪识别有明显的互补特性，脑电信号对高兴这类正向情绪比眼动信号有更高的识别率，而眼动信号对悲伤这类负向情绪比脑电信号具有更强的区分能力。

02

如何“读懂”你的情绪？

@上海科技

多模态数据的分析对于精准医疗至关重要。您在研究中，是如何利用多模态数据的？

@吕宝粮

多模态数据主要包括脑电、眼动、心率、面部表情、语音等生理和非生理信号，这些数据可以综合反映患者的情绪和认知状态。我们通过多模态深度学习算法综合分析这些数据，不仅可以识别出抑郁症患者的情绪波动，还能观察到不同治疗方法对患者情绪状态的具体影响。这种方法的优势在于能够实时、动态地监测患者的情绪状态，为临床提供决策支持，特别是有助于制订个性化的治疗方案。

@上海科技

情绪识别与情绪调控研究面临哪些困难和挑战？下一步，您和团队的研究计划是什么？

@吕宝粮

情绪是一个复杂而多维的概念，不同的人对同一情绪的表达和体验可能存在差异。

与运动脑机接口不同，患者的个体差异可能受性别、年龄、职业和文化程度等多种因素影响，如何准确地识别和理解不同个体的情绪状态仍然是一个重要的研究方向。因此，我们要设计适合于不同人群的情绪诱发范式，要构筑高精度的情绪识别模型。另外，情绪调控需要考虑到伦理和隐私等问题，并确保技术的安全性。

我们目前的研究侧重于情绪识别，未来我们将在精准情绪识别的基础上，开发高效的情绪调控技术。

03

探求抑郁症“密码”

@上海科技

为什么选择抑郁症客观评估作为情感脑机接口技术的研究方向？

@吕宝粮

抑郁症在我国的发病率不断上升，2019年就报道有9500万抑郁症患者。一方面，我国出生人口出现下滑，政策鼓励生育，但产后抑郁的患病率大约有20%-30%。另一方面，抑郁症患者年龄下降，青少年发病率升高，而国内精神科医生严重不足，远低于发达国家的水平。

目前，抑郁症的诊断基本依赖精神科医生的主观判断和各类量表，缺乏客观生物标记物，这导致诊断不仅耗时而且准确率不高。因此，我们探索基于多模态情感脑机接口技术的抑郁症客观评估方法，以提高抑郁症的诊断效率和准确率。

@上海科技

情绪“x”光机如何辅助精神科医生诊断抑郁症？

@吕宝粮

我们的情绪“x”光机利用先进的传感技术、可穿戴设备、深度学习算法和脑电大模型，通过分析用户的脑电和眼动等多模态数据识别患者的抑郁症状。患者只需在情绪“x”机上做10分钟的测试，机器就会自动生成一个诊断报告。

该报告从抑郁症状的角度，给出患者偏离正常值的程度。相较于传统的抑郁症诊断方法，情绪“x”光机可以提供自动化、快速、客观的定量分析，进而使精神科医生能为患者提供更为个性化和精准的治疗方案。

@上海科技

情绪“x”光机的抑郁症客观评估系统的应用前景如何？在您看来，它最终的呈现模式和适用范围是什么？

@吕宝粮

我认为未来每位临床精神科医生都需要配备一台情绪“x”光机，以实现抑郁症的个性化、精准治疗，提高医生的工作效率，减轻医生的工作负担。除了医院之外，情绪“x”光机也可以应用于各种岗位的抑郁症筛查和早期预警。随着情感脑机接口技术的不断成熟和关键设备价格的降低，未来将会有家庭版情绪“x”光机。在家里就像量血压、测体温一样，可以方便地检测自己的情绪状态是否出现了异常，以调整生活和工作节奏，及时就医。

情感脑机接口技术在未来抑郁症等情感障碍疾病的诊疗中具有极大的发展潜力，我深信情感脑机接口技术将引领一场关于情感障碍疾病治疗和管理的革命。随着技术的不断进步和精细化，我们能够更准确地识别和监测抑郁症患者的症状变化，为他们提供及时且个性化的治疗方案。

未来，这项技术将会与更多的智能设备和应用程序集成，与增强现实、虚拟现实、大模型等其他创新技术相结合，形成一个多方位的治疗平台，从而更全面地支持患者的治疗和康复过程，实现更广泛的个性化医疗解决方案。此外，随着大模型技术的进一步发展，我们能够通过大数据分析预测疾病的发展趋势，进行更为主动的干预。

@上海科技

从您的专业视角来看，脑机接口作为未来产业如何供给新质生产力？

@吕宝粮

脑机接口技术是一种典型的新质生产力，不仅符合新质生产力的定义，而且开创了一种全新的人与机器的自然交互方式。

我国脑机接口市场正在孕育发展过程中，已经受到了社会各界的广泛关注。脑机接口技术是一项底层技术，它将来能在方方面面赋能百业，会对普通人的日常生活产生巨大的影响。(上观新闻“上海科技”作者/蓝悦 图片/新华社 张建松 企业及专家观点不代表官方立场)