阅读此文前，诚邀您点击一下“关注”，方便您随时查阅一系列优质文章，同时便于进行讨论与分享，感谢您的支持~

文|沐晚

编辑|智海弄潮

引言

基于脑电图（EEG）的情感识别是脑机界的重要任务。近年来，许多基于深度学习的情感识别方法已经证明优于传统方法。然而，提取区分性特征对于EEG情感识别仍然具有挑战性，大多数方法忽略了通道和时间中的有用信息。

本文提出了一种基于注意力机制的卷积循环神经网络（ACRNN），从EEG信号中提取更多区分性特征，提高情感识别准确性。首先，ACRNN采用通道注意力机制来自适应地分配不同通道的权重，并使用CNN提取编码后的EEG信号的空间信息。

然后，为了探索EEG信号的时间信息，扩展自注意力被集成到RNN中，以根据EEG信号内部相似性重新编码重要性。我们在DEAP和DREAMER数据库上进行了广泛的实验。实验结果表明，所提出的ACRNN优于现有的最先进方法。

一、介绍

情感分析在日常生活中非常重要，特别是在人机交互领域。情感分析可以帮助提高人机沟通的质量，提升计算机的智能水平。此外，情感分析在健康医疗领域也扮演着重要角色，用于了解患者的行为和认知功能状态。

一般情况下，生理信号被广泛应用于测量情绪状态，包括电测皮肤反应、肌电图、心率、呼吸率以及脑电图（EEG）等。在过去的十年中，情感与脑电信号之间的关系得到了广泛研究。脑电图信号可以很容易地获得，它能够测量脑神经元中离子电流引起的电压波动。

EEG是无创、快速、廉价的方法，因此被认为是研究情感刺激下的大脑反应的首选方法。此外，EEG信号被广泛用于情感分析，因为EEG可以从频率段、电极位置和时间信息等多个方面提供有关情感的相关信息。

二、EEG情感识别的一般流程

最近，从EEG信号中识别情感引起了广泛的关注。

测试协议：首先记录使用的刺激类型、试验持续时间、受试者数量、性别以及要识别的情感类型。

然后，将受试者暴露于刺激物（例如音乐或电影）中。EEG记录：记录电极数量和测试持续时间，然后通过电极记录EEG信号。受试者在每次试验后标注其情感状态。

预处理：为避免EEG信号中出现的伪迹，例如眨眼，需要使用伪迹去除方法，例如盲源分离和独立分量分析。

特征提取：为了从EEG信号中提取相关的情感特征，需要探索EEG信号的信息，例如在时间、频率和空间领域中的特征。

可以使用各种分类器来对提取出的特征进行分类，例如贝叶斯、支持向量机、决策树和深度学习分类器。根据分类器是否训练于用户相关数据，EEG情感识别也可以分为用户相关和用户无关任务。

三、通道注意力

注意力在人类感知中起着重要作用。例如，人类可以利用一系列部分想象并有选择性地聚焦于显著部位，以更好地捕捉视觉结构。

受人类注意机制的启发，空间注意机制已被提出用于各种视觉任务，如语义注意、多层注意和通道注意。通道注意表现出卓越的性能，因为它可以改变不同通道的权重以探索特征图的信息，从而可以提取有关通道的更重要信息。

因此，通道注意机制已被用于利用特征通道间的相互依赖关系。例如，胡等人引入了一个紧凑的模块来利用特征图的通道间关系，陈等人结合了空间注意和通道注意进行图像字幕生成。

通常，通道注意可以压缩全局空间信息并生成通道统计数据。

此外，由于它可以与CNNs一起训练，因此可以将它整合到CNN体系结构中。

考虑到多通道EEG信号通过通道包含了空间信息，因此可以将通道注意集成到CNN中，以探索EEG信号通道之间的重要性，并且CNN可以提取更具区分性的空间信息。

四、自注意力

Self-attention是一种内部注意机制，它将单个序列的不同位置联系起来，根据重要性分数编码序列数据。

此外，自注意力机制非常受欢迎，因为它可以提高长距离依赖建模的效果。

一个注意力函数可以被描述为将查询(query)和一组键值对(key-value pairs)映射到一个输出(output)，其中查询、键、值和输出都是向量。

输出被计算为值的加权和，每个值被分配的权重由查询与相应键的兼容性函数计算。已经证明，自注意力在简单语言问答和语言建模任务中表现良好。

例如，Vaswani等人为机器翻译提出了一种基于注意力的架构，Shen等人提出了定向自注意力网络，以便更好地关注输入序列中元素之间的注意力。

在EEG识别任务中，为了增加训练样本的数量，通常将一个EEG试验分成几个输入样本。然而，许多方法忽略了不同EEG样本之间的重要性。受到自注意力的启发，我们采用这种技术来进一步探索EEG样本之间的时间依赖性。

五、提出的方法

本节将首先介绍提出的EEG情感识别框架，然后介绍我们的原始EEG信号预处理技术。最后，我们详细描述了提出的ACRNN的构建。

通常，大多数基于EEG的情感识别研究都集中于首先提取相关特征，然后使用提取的特征来对受试者的情感状态进行分类。

实际上，原始的EEG信号包含丰富的时空信息，可以被提取出来用来识别受试者的情感状态。本文提出的ACRNN是一种数据驱动方法，同时将通道级和拓展型自注意力机制融合到CNN-RNN模型中。此外，ACRNN可以提取空间和时间信息作为情感特征，并使用softmax函数对提取的特征进行分类。

因此，这种端到端技术提高了基于EEG的情感识别的准确性。首先，将EEG样本划分为训练和测试样本。然后，分别通过去除基线信号来预处理训练和测试样本。

此外，标签使用分段窗口技术进行预处理。接下来，我们使用训练样本来训练提出的ACRNN模型，计算交叉熵损失，使用Adam优化器更新网络参数。

最后，经过训练的模型被用来识别测试样本的情感状态，并将分类准确率视为最终的识别结果。

六、结果与分析

为了验证所提出方法的有效性，我们在两个数据库上进行了广泛的实验。为了验证注意机制的性能，我们设计了三个模型来演示通道级注意和扩展自注意机制的影响，包括CNN + RNN（CNN-RNN），通道级注意机制 + CNN + RNN（A-CNN-RNN）和CNN + RNN + 扩展自注意机制（CNN-RNN-A）。

这些模型的详细信息如表所示。CNN-RNN模型包含一个CNN和LSTM网络，旨在验证基线框架的有效性，该框架可以使用级联框架从原始EEG信号中提取情感特征。

A-CNN-RNN模型包含通道级注意机制、CNN和LSTM网络，旨在验证通道级注意机制对基线框架的有效性。CNN-RNN-A模型包括CNN、LSTM网络和扩展自注意机制，旨在验证扩展自注意机制对基线框架的有效性。

此外，我们将所提出的方法与三种最新的深度学习方法进行比较：连续卷积神经网络（Conti-CNN），图形卷积神经网络（GCNN）和卷积递归注意模型（CRAM）。

Conti-CNN可以结合多个波段的特征以提高识别精度，GCNN可以采用不同的熵（DE）特征作为输入，并使用谱图滤波器提取特征和识别情感，CRAM可以利用CNN来编码EEG信号的高级表示，利用递归注意机制来探索时间动态。

我们还采用了两种传统的基于特征的分类器进行比较，包括支持向量机（SVM）和决策树（DT）。所有方法都经过与ACRNN相同的预处理，即基线信号去除和滑动窗口处理。

七、结语

本文提出了一种基于端到端深度学习的EEG情感识别方法。所提出的ACRNN考虑了EEG信号的空间信息、时间信息和注意力信息。此外，我们将通道级注意力集成到CNN中，可以提取空间注意力特征，并且通道级注意力可以提取通道之间的注意力信息。

我们还将拓展型自注意力集成到RNN中，可以根据每个样本的重要性提取注意力信息。最终，广泛的实验结果表明，在DEAP数据库中，所提出的ACRNN在valence和arousal分类任务中分别达到了93.72％和93.38％的平均准确率。

此外，在DREAMER数据库中，所提出的ACRNN在valence、arousal和dominance分类任务中的平均准确率分别为97.93％、97.78％和98.23％。

与现有方法相比，显然，所提出的ACRNN提高了DEAP和DREAMER数据库中EEG情感识别的准确性。

未来的研究中，我们将研究基于注意机制的试验和受试者EEG情感识别。

参考文献：

1、R. W. Picard，《情感计算》，1997年。

2、S. Koelstra, C. Muhl, M. Soleymani, J.-S. Lee, A. Yazdani, T. Ebrahimi, T. Pun, A. Nijholt, 和 I. Patras，《Deap: 一种用于情感分析的生理信号数据库》，2011年。

3、S. Katsigiannis 和 N. Ramzan，《Dreamer: 一种用于基于无线低成本现货设备的脑电图和心电图信号情感识别的数据库》，2017年。

4、J. Cheng, M. Chen, C. Li, Y. Liu, R. Song, A. Liu, 和 X. Chen，《基于深度森林的多通道脑电图情感识别》2020年。

5、 Y. Liu, Y. Ding, C. Li, J. Cheng, R. Song, F. Wan, 和 X. Chen，《基于多层特征引导胶囊网络的多通道脑电图情感识别》，《计算机在生物医学和医学中的应用》，2020年。