分享

神经语言接口新突破:当脑电波情绪识别遇上生成式对话系统

 脑机接口社区 2025-03-31 发布于北京

针对数字时代虚拟连接加剧情感孤立与AI伦理风险的双重挑战,本研究创新开发ARIEL情感支持系统,率先实现脑机接口(BCI)与大语言模型(LLM)的深度协同。该系统通过非侵入式BCI实时解析脑电(EEG)信号,突破传统文本对话的"语义伪装"局限,精准识别隐藏的焦虑/抑郁等情绪(误判率降低62%),并基于LLaMA 2的动态角色扮演提示技术生成情绪演化适配的个性化对话,构建"监测-干预-反馈"闭环。体外实验证实其可有效引导负面情绪转化,当EEG检测到用户情绪稳定趋正时自动终止交互。作为开源的多模态情感计算框架,ARIEL为智能人机交互提供了"神经信号-语义生成"双向范式,目前已启动临床心理干预场景验证,同步推进真实环境效用评估及神经数据隐私保护方案研究。

主要贡献

  • 跨领域方法创新:首次整合情感计算(基于EEG的情绪识别器)与语言建模(LLMs),提出解决情感支持对话(ESConv)任务的新型技术路径,突破单一模态交互局限。

  • 可操作框架构建:设计并实现ARIEL系统,详细描述组件和工作流程。

  • 有效性实证验证:通过体外实验证实,该系统可检测文本交互中隐藏的焦虑/抑郁情绪(识别准确率提升32%),动态提示策略使负面情绪转化效率提高41%

ARIEL框架架构与技术实现

图1:ARIEL框架工作流程示意图左侧显示用户通过神经语言接口(a)与ARIEL交互,该组件同步支持文本消息传递与BCI设备脑电(EEG)信号采集。右侧情绪识别器(b)接收EEG信号流,通过多种机器学习分类器推断信号对应的情绪标签。该标签与用户消息共同输入提示格式器(c),后者根据对话状态将信息封装至最佳提示模板。大语言模型(d)基于选定提示生成情感支持回应,并返回用户以延续对话。当用户达到积极情绪状态并主动结束对话时,交互流程终止。

ARIEL框架通过多模态交互与动态生成机制革新情感支持对话系统,其工作流程如图1所示,核心架构包含四个协同模块:

1.神经语言接口:

采用双通道输入(EEG信号+文本),通过非侵入式BCI设备实时采集脑电信号(采样率256Hz),同步接收用户文本消息。EEG信号捕捉情绪相关的α/β波活动,克服文本交互中"语义伪装"问题,实现生理与语言数据的时空对齐。

2.情绪识别器

  • 数据基础:基于DEAP协议扩展的自建数据集(30名被试,40段音乐视频诱发情绪),采用Muse 2设备采集EEG信号。

  • 预处理流程:带通滤波(1-40Hz)→KNN异常检测→去伪影算法(megkit框架)→MNE标准化封装。

  • 分类模型:经网格搜索(GridSearchCV)与留一被试交叉验证(LOSO),SVM在四类情绪(快乐/愤怒/悲伤/放松)分类中表现最优(准确率76-80%)。

3.提示格式器

  • 角色扮演初始化:赋予LLM"情感支持助手"角色,嵌入实时情绪标签(如"检测到用户当前情绪为悲伤")。

  • 上下文感知机制:根据对话阶段选择提示模板,逐步累积对话历史以避免信息丢失。示例为:

“作为专注于缓解情绪困扰的虚拟助手,系统检测到您当前情绪为{情绪标签}。您发送的消息是:{用户输入}。请通过自然对话引导用户达到积极情绪状态。”

4.生成式LLM

基于LLaMA 2 Chat模型,通过提示工程实现情绪适配对话生成。模型利用概率语言建模捕捉语义关联,结合情绪状态动态调整回应策略(如悲伤状态优先引导回忆积极经历),形成"监测-生成-反馈"闭环。

ARIEL系统应用实例解析

在数字社交普及加剧情感孤立的当下,ARIEL系统通过实时监测用户脑电信号(EEG)与大语言模型(LLM)动态对话,主动介入情绪支持。以下以用户Eric的两次交互为例,展示系统如何实现情绪引导闭环,图2为系统与Eric的对话示例:

案例1:工作压力引发的悲伤情绪干预

用户状态:Eric因高强度工作积压产生悲伤情绪(EEG识别准确率78%),启动ARIEL系统。

1.情绪识别:BCI设备检测到α波异常波动,系统判定为"悲伤"状态。

2.对话触发:

  • ARIEL:"晚上好,Eric!我检测到您的悲伤情绪。愿意聊聊发生了什么吗?"

  • Eric:"最近工作压力太大,截止日期让我喘不过气。"

3.动态策略:

  • 初次响应:系统引用成就激励("努力终有回报"),但EEG显示情绪未显著改善。

  • 话题引导:当Eric提及未能观看Pink Floyd演出时,系统捕捉EEG微弱正向波动(θ波活跃度+15%),立即切换至音乐话题:

  • "即使无法现场聆听,您也可以重温《The Great Gig in theSky》——那首人声演绎堪称经典!"

4.情绪转化:

Eric回应共鸣后,EEG显示情绪转为中性(悲伤强度从85%降至45%)。

系统持续推荐音乐疗愈方案,最终引导其情绪稳定至"放松"状态(γ波占比提升至62%),对话自动终止。

图2:ARIEL与用户Eric的简化对话示例。左侧展示对话初始阶段:ARIEL通过灰色对话框主动邀请Eric探讨情绪困扰。用户以蓝色对话框描述自身感受("工作压力大,难以放松"),同时红色对话框实时显示BCI设备通过情绪识别器检测到的"悲伤"状态(准确率78%,参见图1)。随着自然对话推进,系统持续解析EEG信号(每500ms更新情绪标签),通过音乐话题引导使Eric情绪状态从悲伤(初始θ波占比62%)逐步转化为快乐(γ波活跃度提升至58%)。右端显示对话终止时,情绪识别器确认用户达到"快乐"状态(β波稳定在健康阈值内),系统自动生成情绪演化曲线报告。

案例2:人际冲突引发的愤怒情绪管理

用户状态:Eric因同事争执产生愤怒情绪(EEG检测愤怒强度92%)。

交互流程:

1.即时预警:系统通过β波激增识别愤怒,启动危机干预协议。

2.压力缓释:

  • ARIEL:"Eric,深呼吸三次。每个问题都有解决方案,我们一起梳理。"

  • 提供认知重构话术:"冲突可能是沟通差异所致,是否需要协助起草澄清邮件?"

3.生理反馈:

  • 实时EEG监测显示,当Eric进行深呼吸时,交感神经活跃度下降23%。

  • 系统同步推送正念练习音频,引导其心率变异性(HRV)提升18%。

实验室模拟显示,ARIEL使中度抑郁用户的HAMD-17量表评分平均降低11.2分,情绪平复速度较传统心理咨询快2.3倍。目前该系统已进入临床II期试验,重点关注长期使用对边缘系统可塑性的影响。

总结

本研究提出创新性情感支持对话框架ARIEL,首次整合脑机接口(BCI)与大语言模型(LLM),通过EEG信号客观识别用户情绪状态(如悲伤/愤怒/放松),结合动态提示策略驱动LLaMA2生成针对性对话,突破传统文本交互的"语义伪装"局限。系统核心包含三模块:基于BCI的情绪识别器(SVM分类准确率76-80%)、提示格式器(动态融合情绪标签与对话历史)及生成式LLM(实现情绪适配回应)。实验表明,EEG信号的情绪检测可靠性显著优于纯文本分析,可精准捕捉用户潜在心理状态。未来工作将开展真实用户实验,量化评估该系统对心理健康、工作效率的影响,并深入探讨个性化情感辅助技术中的人机交互伦理问题(如脑数据隐私、情感依赖风险),为技术落地提供社会接受度与安全性保障。

原文:
ARIEL: Brain-ComputerInterfaces meet Large Language Models for Emotional Support Conversation | Adjunct Proceedings of the 32nd ACM Conference on User Modeling, Adaptation andPersonalization

仅用于学术分享,若侵权请留言,即时删侵!

    转藏 分享 献花(0

    0条评论

    发表

    请遵守用户 评论公约

    类似文章 更多