杭州电子科技大学脑机协同智能团队提出一种双

 新闻资讯     |      2024-10-06 00:20

  随着人工智能技术的不断发展,大量第二代人工神经网络(ANN)和第三代脉冲神经网络(SNN)被用于各种基于脑电(EEG)信号的认知识别任务中。ANN中的神经元使用速率编码方案将信息编码成标量,并使用连续函数作为神经元激活函数,以实现对实值输入和输出的处理。然而,ANN 的神经元只在空间域传播信息,这使得 ANN 更倾向于处理和理解空间信息,在处理具有复杂时间序列或时空相关的任务时存在不足。SNN作为第三代脉冲神经网络,使用时序编码方案将信息编码成离散的脉冲序列,并利用微分方程计算模式来训练、计算和处理时序信息,更接近生物神经元机制。具体来说,除了空间域的信息传播外,脉冲神经元的当前状态还受到时域历史信息的密切影响,这使得SNN在时序或时空数据分析方面更具优势。

  共生的概念源于自然界中不同生物之间通过交换信息、材料或物质实现共同进化的过程。遗传学认为,脱氧核糖核酸(DNA)是生物遗传信息的主要载体。受此启发,作者通过模拟DNA的双螺旋结构和碱基互补配对原则,构建了一种新型的通用类DNA混合共生框架(如图1所示)。在该框架中,基于ANN和SNN的混合网络分别作为DNA-HS的两条链,承载着不同的表征信息。此外,提出的参数遗传算法(PGA)能够实现混合网络间的相互学习和进化,显著增强了网络参数的优化能力。实验结果表明,DNA-HS框架能够充分利用混合网络间的互补优势,大幅提升了混合网络的整体性能。这种模拟DNA双螺旋结构的统一混合网络框架,有望为基于EEG的认知识别任务开辟新的研究路径,开创一种全新的研究范式。

  DNA-HS包含两个阶段:ANN和SNN独立进行的预训练阶段,以及ANN和SNN共同执行的共优化训练阶段。首先,进行预训练,即相同输入样本下ANN和SNN的单独训练,学习得到预训练后的ANN和SNN作为共生交互的两类基准网络。然后,基准网络以双向互利交互的方式执行共优化训练。为了减小辅助中间模块带来的结构复杂度,作者通过匹配层结构来获取特定的网络参数,以直接进行混合网络间信息的双向交互,。

  结构上,DNA-HS主要包括4个模块(如图2所示):4D表征、ANN、SNN以及PGA。ANN可以为任意的网络结构(即任意层数和结构),在ANN的基础上引入脉冲神经元生成SNN。

  PGA:提出的PGA算法为混合网络提供了一种直接进行信息交互的途径,通过网络参数的双向互利交互以充分发挥ANN和SNN各自优势,增强模型的EEG认知识别能力。图3显示了PGA在每次遗传迭代过程中信息的动态双向交互流程。首先,通过对父代模型进行互利导向突变和共生导向交叉操作,生成ANN和SNN的后代群体。然后,对ANN和SNN后代群体模型的Fitness值进行评估和排序,选出Fitness值最高的k个ANN和SNN(即Top-k ANN和SNN模型)。最后,从Top-k中随机选出一个ANN和SNN作为下一次遗传迭代的父代模型,继续进行动态交互。这一操作确保了不同特征表示和学习经验的整合,旨在增强混合模型的共生优化能力。

  为验证提出DNA-HS框架在不同认知识别任务下的性能,此研究采用三个EEG数据集。

  (1)SEED(公开):一种基于情绪状态的认知识别任务,即情绪识别。SEED数据集是由上海交通大学 BCMI 实验室提供的公开数据集。

  (2)FAAD(自行采集):一种疲劳状态相关的认知识别任务,即疲劳检测。FAAD数据集是研究团队与罗马大学联合采集的EEG数据集。

  (3)ADMH(自行采集):一种认知障碍相关的认知识别任务,即认知障碍评估。ADMH数据集包含三种认知功能状态:阿尔兹海默症(Alzheimer Dementia,AD),轻度认知障碍(Mild Cognitive Impairment,MCI)以及健康对照组(Health Control,HC),由三种情绪状态(积极、中性和消极)诱发。该数据集是研究团队与浙江中医药大学联合采集的EEG数据集。

  为了验证DNA-HS的有效性和泛化能力,作者在不同结构的混合网络上进行了基于留一法LOSO交叉验证策略的EEG跨被试分析实验,同时在多个EEG数据集上的进行了性能评估,如表1所示。

  表1. DNA-HS框架在不同ANN和SNN基准网络上的性能表现(%)。

  图4展示了ANN和SNN混合网络遗传迭代过程中的共生优化结果,即每次遗传迭代产生的Top-k网络对应Fitness值的变化。以方框图的形式标明了ANN和SNN遗传迭代过程中的Top-5 Fitness值,并以折线图的形式展示了PGA的收敛过程。随着遗传代数的增加,ANN和SNN对应的Fitness值均呈上升趋势,这意味着在DNA-HS框架中,ANN和SNN在遗传代数中不断优化,PGA在迭代早期趋于收敛,在后期保持稳定。

  我们发现,DNA-HS框架能够充分发挥ANN和SNN的优势,通过基于PGA的双向互利交互实现不同网络间的共生优化,并能适应各种认知识别任务。共优化训练过程中,网络参考另一个网络的学习经验以补充自身没有涉及到的知识,从而让该网络跳出局部优化区间,通过学习更广泛的知识来提升自身的鲁棒性,最终以双向互利交互的模式进一步实现混合网络间的共生优化。网络共生概念的提出有利于促进人类认知和人工智能的协同发展。

  曾虹,研究领域:人工智能、脑机交互、认知计算。杭州电子科技大学脑机协同智能技术国际联合研究中心(科技部)和浙江省脑机协同智能重点实验室成员。

  赵月,研究领域:人工智能、认知计算、脑机交互。浙江农林大学数学与计算机科学学院计算机科学与技术学科专任教师。

  孔万增,研究领域:人工智能与模式识别,嵌入式可穿戴计算,脑机交互与认知计算。浙江省脑机协同智能重点实验室主任,脑机协同智能技术(科技部)国际联合研究中心常务副主任。

  戴国骏,研究领域:人工智能,认知计算。脑机协同智能技术(科技部)国际联合研究中心(科技部)主任。