基于文本指导的层级自适应融合的多模态情感分析方法

计算;推算;计数设备的制造及其应用技术1.本发明涉及基于文本指导的层级自适应融合的多模态情感分析方法，属于自然语言处理领域。背景技术：2.随着互联网技术的发展，近年来，抖音、快手等社交媒体交流方式得到较快发展。越来越多的用户选择使用视频来表达自己的观点和情感，这些视频提供了大量的多模态数据。多模态情感分析(multimodal sentiment analysis，msa)也因此受到越来越多的关注，相关的研究已经被广泛应用到各个领域，例如社交媒体舆情监督、个性化推荐等。因此，多模态情感分析具有重要的研究意义和应用价值。3.多模态情感分析不仅要充分表征单模态信息，还要考虑不同模态特征之间的交互与融合。zadeh等人提出了张量融合网络(tensor fusion network,tfn)，同时提出了一种记忆融合网络(memory fusion network,mfn)，该网络使用lstm来学习特定于视图的交互作用。tsai等人提出了跨模态变换器，该变换器学习跨模态注意以强化目标模态。yu等人引入了单峰子任务，以帮助模态表征学习。4.尽管这些方法在多模态情感分析领域取得了一定的成功。但在以往的研究中，多模态融合方法通常将三种模态特征看作同等重要，侧重于多模态特征的融合，忽略不同模态对最终的情感分析结果的贡献，对模态重要性信息利用不足，这样可能会造成模态中重要信息的丢失，影响多模态情感分析性能。技术实现要素：5.本发明提供了基于文本指导的层级自适应融合的多模态情感分析方法,以文本模态信息为指导实现多模态信息的层级自适应筛选及融合提升多模态情感分析的性能。6.本发明的技术方案是：基于文本指导的层级自适应融合的多模态情感分析方法，所述方法的具体步骤如下：7.step1、准备数据集，对公共数据集数据进行预处理；8.step2、将处理好的数据输入到基于文本指导的层级自适应融合模型，通过特征表示模块对文本、语音、视觉三种模态信息进行表征；通过局部跨模态特征交互模块对获得的文本、语音、视觉三种特征提取模态相关特征；通过全局多模态交互模块采用门控机制过滤模态相关特征获得模态特有特征；通过局部-全局特征融合模块对模态相关特征和模态特有特征进行有效的融合。9.作为本发明的进一步方案，所述step1的具体步骤为：10.step1.1、下载cmu-mosi数据集，其中cmu-mosi数据集包括2199个简短的独白视频剪辑，每个视频片段利用人工对其进行情感分数注释，情感分数取值为[-3,+3]，代表情感强度的极性从极负向到极正向；其中cmu-mosi训练、验证和测试集分别包含1284、229、686个视频片段；然后通过预处理形成pkl格式文件。[0011]作为本发明的进一步方案，所述step2中，通过特征表示模块对文本、语音、视觉三种模态信息进行表征具体包括：[0012]step2.1、多模态语言序列涉及三种模态：文本模态t、语音模态a和视觉模态v，定义输入序列为其中，l{t,a,v}表示模态的序列长度；采用三个独立的子网络获取三种模态的特征表示；对于文本模态，使用预训练的12层bert来提取句子表征，并将最后一层中的第一个单词向量作为整个句子的表示；利用bert获得文本模态的特征表示，文本模态特征表示如下：[0013]ht＝bert(ft,θbert)[0014]其中，ht表示文本模态特征,lt表示文本模态的序列长度，dt表示文本模态的特征维度，θbert为bert模型的网络参数；[0015]对于语音模态和视觉模态，使用单向lstm来获取两种模态相对应的时间特征，采用最后一层的隐藏时刻状态作为整个序列的表示；fa，fv分别通过单向lstm，得到语音模态特征表示和视觉模态特征表示，语音模态和视觉模态的特征表示如下：[0016][0017][0018]其中，表示语音模态特征，表示视觉模态特征，la，lv分别表示语音模态和视觉模态的序列长度，da,dv分别表示语音模态和视觉模态的特征维度,θlstm为lstm模型的网络参数。[0019]作为本发明的进一步方案，所述step2中，所述通过局部跨模态特征交互模块对获得的文本、语音、视觉三种特征提取模态相关特征具体包括：[0020]step2.2、利用跨模态注意力机制学习文本模态与非文本模态之间的相关性；当有两种模态视觉模态v和文本模态t，特征表示为hv、ht，文本模态到视觉模态的跨模态注意力cross-modal attention,cm表示如下：[0021][0022]其中，为线性变换权重矩阵，dk表示q和k向量的维度，dv表示v向量的维度，利用两个跨注意力模块获得文本对语音，文本对视觉的两组模态交互特征，此时由文本模态特征ht提供k和v向量，由语音模态特征ha，视觉模态特征hv分别提供q向量，跨模态交互过程表示如下：[0023][0024][0025]然后连接文本模态特征ht，文本语音交互特征文本视觉交互特征并将它们映射到低维空间中，过程表示如下：[0026][0027]其中，dt表示文本模态的特征维度，da,dv分别表示语音模态和视觉模态的特征维度，dm表示低维空间维度，relu为激活函数,hm为三种模态的相关特征。[0028]作为本发明的进一步方案，所述step2中，所述通过全局多模态交互模块采用门控机制过滤模态相关特征获得模态特有特征具体包括：[0029]step2.3、利用门控单元设计了全局多模态特征交互模块，学习不同模态的特有特征，该模块以文本模态为主的相关特征为指导，利用门控机制得到三种模态的特有特征；以语音模态为例，首先将局部跨模态特征交互模块的输出模态相关特征hm与特征表示模块的输出语音模态特征ha分别输入两个独立的线性层，两个线性层的输出作为门控单元的输入，利用多模态相关特征过滤出单模态的特有特征，提出的多模态自适应门控模块如下：[0030]λa＝sigmoid(wmhm+waha)[0031][0032]其中，λa是多模态相关特征和语音特征之间的相似性权重，wm和wa是参数矩阵，为语音模态的特有特征；[0033]重复上述步骤2.3得到文本模态和视觉模态的特有特征，分别表示为dt表示文本模态的特征维度，da,dv分别表示语音模态和视觉模态的特征维度，lt表示文本模态的序列长度，la，lv分别表示语音模态和视觉模态的序列长度；[0034]然后连接文本特有特征语音特有特征视觉特有特征并将它们映射到低维空间中，过程表示如下：[0035][0036]其中，dm表示低维空间维度，relu为激活函数，为不同模态的特有特征。[0037]作为本发明的进一步方案，所述step2中，所述通过局部-全局特征融合模块对模态相关特征和模态特有特征进行有效的融合具体包括：[0038]step2.4、经过局部跨模态特征交互模块得到模态相关特征hm，经过全局多模态交互模块得到模态特有特征然后基于transformer设计了局部-全局特征融合模块；[0039]首先，将模态相关特征和模态特有特征叠加到矩阵然后，将矩阵m作为transformer的输入，基于多头自我注意机制，使每个向量学习其他交叉模态表示，综合利用全局多模态特征，实现多模态情感的综合判定；[0040]对于自注意力机制，定义transformer生成一个新矩阵过程表示如下：[0041][0042]headiθattention(qwiq,kwik,vwiv)[0043][0044]其中，wo为线性变换权重矩阵，表示拼接，θatt＝{wq,wk,wv，wo}；[0045]最后获取transformer的输出，拼接输出向量，送入线性层，得到最终预测结果，过程表示如下：[0046][0047][0048]其中，为经过transformer后得到的模态相关特性，为经过transformer后得到的模态特有特征，dm为低维空间维度，为偏置系数。[0049]本发明的有益效果是：[0050]1、本发明针对多模态情感分析，在考虑模态重要性息的情况下，有效探索不同模态间和模态内的关系提高多模态情感分析准确率。提出一种基于文本模态指导的多模态层级自适应融合方法，以文本模态为指导，实现了多模态信息的层级自适应筛选及融合。[0051]2、通过跨模态注意力机制充分学习模态相关特征，通过多模态自适应门控机制筛选融合模态特有特征，帮助多模态融合和情感预测。[0052]3、在cmu-mosi,cmu-mosei数据集上进行了实验，结果表明本发明显著提高了多模态情感分析性能。附图说明[0053]图1是本发明cmu-mosi数据集模态重要性消融实验结果；[0054]图2是本发明提出的基于文本指导的层级自适应融合的多模态情感分析方法流程示意图。具体实施方式[0055]实施例1：如图1-图2所示，基于文本指导的层级自适应融合的多模态情感分析方法，以cmu-mosi数据集为例训练模型，所述方法具体步骤如下：[0056]step1、准备数据集，对公共数据集cmu-mosi数据进行预处理；[0057]step1.1、下载cmu-mosi数据集，其中cmu-mosi数据集包括2199个简短的独白视频剪辑，每个视频片段利用人工对其进行情感分数注释，情感分数取值为[-3,+3]，代表情感强度的极性从极负向到极正向；其中cmu-mosi训练、验证和测试集分别包含1284、229、686个视频片段；然后通过预处理形成pkl格式文件。[0058]step2、将处理好的数据输入到基于文本指导的层级自适应融合模型，通过特征表示模块对文本、语音、视觉三种模态信息进行表征；通过局部跨模态特征交互模块对获得的文本、语音、视觉三种特征提取模态相关特征；通过全局多模态交互模块采用门控机制过滤模态相关特征获得模态特有特征；通过局部-全局特征融合模块对模态相关特征和模态特有特征进行有效的融合。[0059]所述step2的具体步骤如下所示：[0060]step2.1、多模态语言序列涉及三种模态：文本模态t、语音模态a和视觉模态v，定义输入序列为其中，l{t,a,v}表示模态的序列长度；采用三个独立的子网络获取三种模态的特征表示；对于文本模态，使用预训练的12层bert来提取句子表征，并将最后一层中的第一个单词向量作为整个句子的表示；利用bert获得文本模态的特征表示，文本模态特征表示如下：[0061]ht＝bert(ft,θbert)[0062]其中，ht表示文本模态特征,lt表示文本模态的序列长度，dt表示文本模态的特征维度，θbert为bert模型的网络参数；[0063]对于语音模态和视觉模态，使用单向lstm来获取两种模态相对应的时间特征，采用最后一层的隐藏时刻状态作为整个序列的表示；fa，fv分别通过单向lstm，得到语音模态特征表示和视觉模态特征表示，语音模态和视觉模态的特征表示如下：[0064][0065][0066]其中，表示语音模态特征，表示视觉模态特征，la，lv分别表示语音模态和视觉模态的序列长度，da,dv分别表示语音模态和视觉模态的特征维度,θlstm为lstm模型的网络参数。[0067]step2.2、利用跨模态注意力机制学习文本模态与非文本模态之间的相关性；当有两种模态视觉模态v和文本模态t，特征表示为hv、ht，文本模态到视觉模态的跨模态注意力cross-modal attention,cm表示如下：[0068][0069]其中，为线性变换权重矩阵，dk表示q和k向量的维度，dv表示v向量的维度，利用两个跨注意力模块获得文本对语音，文本对视觉的两组模态交互特征，此时由文本模态特征ht提供k和v向量，由语音模态特征ha，视觉模态特征hv分别提供q向量，跨模态交互过程表示如下：[0070][0071][0072]然后连接文本模态特征ht，文本语音交互特征文本视觉交互特征并将它们映射到低维空间中，过程表示如下：[0073][0074]其中，dt表示文本模态的特征维度，da,dv分别表示语音模态和视觉模态的特征维度，dm表示低维空间维度，relu为激活函数,hm为三种模态的相关特征。[0075]step2.3、利用门控单元设计了全局多模态特征交互模块，学习不同模态的特有特征，该模块以文本模态为主的相关特征为指导，利用门控机制得到三种模态的特有特征；以语音模态为例，首先将局部跨模态特征交互模块的输出模态相关特征hm与特征表示模块的输出语音模态特征ha分别输入两个独立的线性层，两个线性层的输出作为门控单元的输入，利用多模态相关特征过滤出单模态的特有特征，提出的多模态自适应门控模块如下：[0076]λa＝sigmoid(wmhm+waha)[0077][0078]其中，λa是多模态相关特征和语音特征之间的相似性权重，wm和wa是参数矩阵，为语音模态的特有特征；[0079]重复上述步骤2.3得到文本模态和视觉模态的特有特征，分别表示为dt表示文本模态的特征维度，da,dv分别表示语音模态和视觉模态的特征维度，lt表示文本模态的序列长度，la，lv分别表示语音模态和视觉模态的序列长度；[0080]然后连接文本特有特征语音特有特征视觉特有特征并将它们映射到低维空间中，过程表示如下：[0081][0082]其中，dm表示低维空间维度，relu为激活函数，为不同模态的特有特征。[0083]step2.4、经过局部跨模态特征交互模块得到模态相关特征hm，经过全局多模态交互模块得到模态特有特征然后基于transformer设计了局部-全局特征融合模块；[0084]首先，将模态相关特征和模态特有特征叠加到矩阵然后，将矩阵m作为transformer的输入，基于多头自我注意机制，使每个向量学习其他交叉模态表示，综合利用全局多模态特征，实现多模态情感的综合判定；[0085]对于自注意力机制，定义transformer生成一个新矩阵过程表示如下：[0086][0087]headi＝attention(qwiq,kwik,vwiv)[0088][0089]其中，wo为线性变换权重矩阵，表示拼接，θatt＝{wq,wk,wv，wo}；[0090]最后获取transformer的输出，拼接输出向量，送入线性层，得到最终预测结果，过程表示如下：[0091][0092][0093]其中，为经过transformer后得到的模态相关特性，为经过transformer后得到的模态特有特征，dm为低维空间维度，为偏置系数。[0094]为了说明本发明的效果，设置了3组对比实验，第1组是主实验结果，在这个领域和以前的一些工作进行比较，验证多模态情感分析性能的提升。第2组实验是模型消融实验，验证提出的模型有效性。第3组实验是模态重要性消融实验验证文本模态的重要性。[0095](1)主实验结果[0096]像以前的大多数工作一样使用cmu-mosi数据集。训练、验证和测试集分别包含1284、229、686个视频片段。参数设置如下表1所示。[0097]表1：模型的参数设置[0098][0099][0100]使用四种评价指标来评估模型的情感分析性能。评价指标分别有：1)平均绝对误差(mae)2)相关系数(corr)3)acc_2，二分类精度；4)f1 score，对acc2加权值。上述的指标中，除了mae，其余的指标越高的分数代表越优秀的表现。为了充分验证提出模型的性能，选取了多模态情感分析中几种主流且性能较高的模型，在相同的实验环境和数据集的条件下，利用上述四种指标来充分讨论性能表现，实验结果如下表2所示。[0101]表2不同模型在cmu-mosi数据集上的实验结果[0102][0103]分析表2可知本文提出的模型在cmu-mosi数据集上情感二分类准确率和f1分数这两个评价指标上的表现都要优于其他对比模型。与其他模型对比准确率提升了0.76％～5.62％,，f1值提升了0.7％～5.64％。对比现有先进的self-mm模型，acc_2提升了0.76％，f1值提升了0.7％，原因在于本文模型考虑了文本模态的重要性，充分利用了文本模态信息帮助多模态信息融合。对比iccn模型，acc_2提升了3.36％，f1提升了3.36％，原因在于本文模型在考虑文本模态重要性的同时，考虑模态信息的相关性和差异性，充分利用了三种模态的相关特征与特有特征，从而使模型性能得以提升。实验结果充分地说明本文模型在多模态情感分类任务上的有效性和先进性。[0104](2)模型消融实验[0105]本发明针对表2中的训练数据和测试数据对本发明模型和其简化模型性能进行测试，实验结果如下表3所示：[0106]1.(-)跨模态注意力：在完整模型基础上移除局部跨模态交互模块(以文本模态为指导)。[0107]2.(-)门控单元：在完整模型基础上移除全局多模态交互模块。[0108]3.(-)文本门，(-)语音门，(-)视觉门:在全局多模态交互模块依次移除文本门，语音门，视觉门。[0109]4.相关特征融合：在局部-全局特征融合模块，移除模态特有特征，只使用模态相关特征。[0110]5.特有特征融合：在局部-全局特征融合模块，移除模态相关特征，只使用模态特有特征。[0111]表3 cmu-mosi数据集模型消融实验结果[0112][0113]1.当去除单模态交互模块后，准确率和f1分数都有所下降。结果表明，局部跨模态交互模块有效地减少不同模态之间的差异性，从非文本模态中学习到了文本模态的互补特征。[0114]2.当去除全局多模态交互模块或文本门控网络、语音门控网络、视觉门控网络，准确率和f1分数都有所下降。由此说明全局多模态交互模块学习到了不同模态的特有特征，为情感预测提供了额外的信息。结果表明，多模态自适应门控机制对过滤单模态特征的特有信息很有帮助。[0115]3.全局-局部特征融合模块中，只融合相关模态时或只融合特有模态时，准确率和f1分数都有所下降。结果表明，去除模态相关特征或模态特有特征都会影响模型性能，同时融合两种特征时，模型可以学习到更多特征信息，有利于情感预测。[0116](3)模态重要性消融实验[0117]为了验证不同模态对最终的情感分析结果的重要程度不同，模型分别以文本模态为指导模态(text attention),以语音模态为指导模态(audio attention)，以视觉模态为指导模态(visual attention)，分别对其进行情感分析实验并对实验结果进行比较。实验结果如下图1所示。[0118]图1实验结果表明，以文本模态为指导模态时，模型性能最好，以语音模态为指导模态时或以视觉模态为主要模态时，情感分析的准确率及f1分数都有明显的下降。由此说明，在多模态情感分析任务中，不同模态对最终的情感分析结果的重要程度不同。其中文本模态对情感分析结果贡献最大，反映了文本模态的重要性。[0119]本发明提取文本、语音、视觉三种模态特征，然后采用跨模态注意力机制以文本模态信息为指导实现两两模态之间的表征，获取文本密切相关的语音特征和视觉特征；然后采用多模态自适应门控机制使用模态相关特征对三种单模态特征进行有效筛选，获取三种模态特有特征；接着采用多模态层级融合策略综合多模态特征和模态重要信息；最后输出使用线性变换去预测情感极性。[0120]通过以上实验证明了本发明通过引入局部跨模态交互模块，解决模态间信息融合不充分问题。以贡献程度较大的文本模态为指导模态，以贡献程度较小的语音模态和视觉模态为辅助模态，利用跨模态注意力机制实现两两模态间的重要性信息表征，然后基于多模态自适应门控机制实现多模态重要信息指导下的多模态层级自适应融合，最后同时应用模态相关特征与模态特有特征，充分探索了模态间和模态内的相关关系。实验表明本发明的方法相比多个基线模型取得了更优的结果。针对多模态情感分析任务，本发明提出的基于文本指导的层级自适应融合的多模态情感分析方法对多模态情感分析性能的提升是有效的。[0121]上面结合附图对本发明的具体实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!