一种基于情感轮和卷积神经网络的图像情感分布预测方法

计算;推算;计数设备的制造及其应用技术1.本技术涉及图像情感分析技术领域，具体涉及一种基于情感轮和卷积神经网络的图像情感分布预测方法。背景技术：2.图像情感分析任务的目标是挖掘图片中隐含的人们的情感倾向，是一项涉及计算机视觉、心理学和美学的多学科交叉任务，目前图像情感分析方法主要包括两大类，一类是基于单标签学习或多标签学习的方法，该方法可以借鉴经典的分类模型实现情绪标签的预测，但是不能对图片在各种情绪上的表达程度进行定量分析，另一类是基于情感分布学习的方法，该方法对图片中蕴含的多种情绪同时建模，可以更好地处理多情绪标签的相关性和模糊性。但是，目前较少有基于图像的情感分布学习研究工作，在预测模型中直接运用心理学先验知识考虑情绪之间的相关性。技术实现要素：3.本发明的目的在于，提供一种基于情感轮和卷积神经网络的图像情感分布预测方法，克服现有的图像情感分布学习模型在考虑情绪之间的相关性方面上的不足，提高图像情感分析模型在情绪分类任务和情感分布预测任务上的性能，将mikel's情感轮心理学先验知识引入情感分布学习，基于mikel's情感轮计算成对情绪之间的相关性，采用多任务卷积神经网络以端到端的方式进行训练，有效利用情绪之间的相关性，同时优化情感分布预测与情绪分类任务。4.本发明采取的技术方案是：一种基于情感轮和卷积神经网络的图像情感分布预测方法，包括如下步骤：5.s1：选取图像数据集，将图像数据集中的图片按照情绪种类进行分类，将每种情绪的图片随机均分成十份，再从每种情绪的十份数据中随机抽取一份数据，将从各种情绪中随机抽取出的一份数据合并作为测试集使用一次，将其余数据合并作为训练集；6.s2：构建图像情感分布学习模型，所述图像情感分布学习模型包括图像特征提取层、情感轮先验知识层和多任务损失层；图像特征提取层用于提取图片中的特征信息，并将图片中的特征信息映射到目标情绪；情感轮先验知识层基于mikel's情感轮计算成对情绪间的相关程度，将图像特征提取层的输出转换为情感分布；多任务损失层用于实现情绪分类和情感分布预测两个任务；7.s3：对图像情感分布学习模型的参数和超参数进行初始化设置，随后将训练集原始图片随机裁剪至224*224*3的形状并进行标准化，将训练集随机均分为若干个批量，每次输入一个批量的样本图片对图像情感分布学习模型的网络参数进行训练，直至每个批量的样本图片都已参与模型训练；将样本图片输入至图像特征提取层，得到图像信息表征向量其中c为目标情绪的数量，vc为图像在第c种目标情绪的表达程度；8.s4：将图像信息表征向量输入情感轮先验知识层，根据每种情绪在mikel's情感轮上的位置关系，为每个情绪μ生成一个先验情感分布其中μ∈{1,2,…,c}，c为目标情绪的数量，代表情绪j在先验情感分布fμ上的表达程度；9.并使用先验情感分布fμ对图像特征提取层输出的图像信息表征向量进行加权计算，得到包含心理学先验知识的情感分布向量情感分布向量的具体表达式如下：[0010][0011]s5：将情感分布向量输入多任务损失层，采用交叉熵损失函数和kl损失函数分别度量情绪分类任务和情感分布预测任务；通过加权的方式，将两种损失函数综合起来，作为多任务损失层的损失函数，对情绪分类和情感分布预测任务同时进行优化，多任务损失层的损失函数l具体表达式如下：[0012]l＝(1-λ)lcls(x,y)+λlsdl(x,d)[0013]其中，lcls表示情绪分类损失函数，即交叉熵损失函数；lsdl表示情感分布预测损失函数，即kl损失函数；x为图片，y为图片对应的情绪标签，d为图片对应的真实情感分布；λ为多任务损失函数中情感分布预测损失函数的权重系数；[0014]采用随机梯度下降sgd来最小化损失函数l，完成对图像情感分布学习模型网络参数的训练；[0015]s6：将测试集中的原始图片随机裁剪至224*224*3的形状并进行标准化，输入至训练后的图像情感分布学习模型，得到情感分布预测输出将情感分布预测输出用于情感分布预测任务，取情感分布预测输出中最大值对应的情绪作为图片的主导情绪用于情绪分类任务；[0016]s7：采用十折交叉验证方式从s1中重新选取测试集和训练集，并重复s3～s6十次，使图像数据集中的每张图片都作为测试集被使用一次；分别对十次训练过程中图像情感分布学习模型在情感分布预测任务和情绪分类任务上的性能取均值，作为图像情感分布学习模型在情感分布预测任务和情绪分类任务上的最终性能。[0017]进一步地，所述图像特征提取层由两部分构成，前端部分由vggnet的5组卷积层与池化层和2层全连接层组成，通过多层卷积神经网络提取图片中的特征信息，后端部分由一个全连接层组成。[0018]进一步地，s3中对图像情感分布学习模型参数的初始化设置具体为：将图像特征提取层前端部分的参数初始化为vggnet在imagenet图像数据集上预训练的参数，对后段部分的参数采用正态分布初始化。[0019]进一步地，s3中对图像情感分布学习模型超参数的初始化设置具体为：多任务损失函数中情感分布预测损失函数的权重系数λ设为0.7，图像特征提取层前端部分卷积层学习率为0.001，前端部分全连接层和后端部分全连接层的学习率learning rate为0.01，并设置丢弃率dropout为0.5，每个批量的样本数量batch size为32。[0020]进一步地，的具体计算公式为：[0021][0022][0023]其中，σ为先验情感分布标准差，|j-μ|是情绪j与情绪μ在mikel's情感轮上的距离，为情绪j与情绪μ之间的相关程度，对进行归一化得到[0024]进一步地，交叉熵损失函数的具体表达式为：[0025][0026]其中，函数n为训练集的样本数，i为第i张图片，j为第j种情绪，yi为第i张图片对应的情绪标签，为第i张图片在第j类情绪上的表达程度；kl损失函数的具体表达式为：[0027][0028]其中，为第i张图片在第j个情绪上的真实表达强度。[0029]进一步地，s6中情感分布预测任务采用6种评价真实情感分布和情感分布预测之间距离或相似度的指标作为图像情感分布学习模型的性能指标，分别为chebyshev距离、clark距离、canberra测度、kl散度、余弦系数和intersection相似度；情绪分类任务采用准确率作为图像情感分布学习模型的性能指标。[0030]本发明的有益效果在于：[0031](1)本发明通过情感轮先验知识层将心理学情感知识直接引入深度神经网络，基于mikel's情感轮定义成对情绪之间的相关性，采用多任务卷积神经网络综合考虑情绪分类任务和情感分布预测任务，能够有效利用成对情绪之间的相关性，在情绪分类任务和情感分布预测任务上的性能均优于现有的图像情感分布学习模型；[0032](2)本发明将图像特征提取层参数初始化为vggnet在imagenet数据集上预训练的参数，在给定数据集上对参数进行微调，这种训练方法能够有效提高模型的收敛速率，提高了工作效率，且适用于大规模数据集上的训练。附图说明[0033]为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。[0034]图1为本发明实施例的方法流程图；[0035]图2为本发明实施例图像情感分布学习模型的结构示意图；[0036]图3为mikel's情感轮示意图。具体实施方式[0037]为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明并不限于下面公开的具体实施例的限制。[0038]除非另作定义，此处使用的技术术语或者科学术语应当为本技术所述领域内具有一般技能的人士所理解的通常意义。本专利申请说明书以及权利要求书中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。同样，“一个”或者“一”等类似词语也不表示数量限制，而是表示存在至少一个。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也相应地改变。[0039]如图1所示，一种基于情感轮和卷积神经网络的图像情感分布预测方法，包括如下步骤：[0040]s1：选取图像数据集，将图像数据集中的图片按照情绪种类进行分类，将每种情绪的图片随机均分成十份，再从每种情绪的十份数据中随机抽取一份数据，将从各种情绪中随机抽取出的一份数据合并作为测试集使用一次，将其余数据合并作为训练集。[0041]s2：构建图像情感分布学习模型，所述图像情感分布学习模型如图2所示，包括图像特征提取层、情感轮先验知识层和多任务损失层；图像特征提取层用于提取图片中的特征信息，并将图片中的特征信息映射到目标情绪；情感轮先验知识层基于mikel's情感轮计算成对情绪间的相关程度，将图像特征提取层的输出转换为情感分布；多任务损失层用于实现情绪分类和情感分布预测两个任务。[0042]在本发明实施例中，所述图像特征提取层由两部分构成，前端部分为基于vggnet构建的特征提取器，包括5组卷积层与池化层和2层全连接层组成，全连接层神经元数量为2048，连接在第五组卷积层与池化层之后，卷积层通过多层卷积神经网络提取图片中的特征信息，全连接层将图像特征信息映射至图像特征信息向量；后端部分由一个全连接层组成，连接在前端部分的全连接层之后，用于将图像特征信息向量映射到目标情绪。[0043]情感轮先验知识层由转换矩阵组成，转换矩阵w＝[f1,f2,…,fc]，其中c为情绪类别数量，fc为第c种情绪的先验情感分布。转换矩阵w基于mikel's情感轮计算成对情绪间的相关程度，用于将图像特征提取层的输出转换为情感分布。[0044]多任务损失层采用情绪分类和情感分布预测两个任务，同时对神经网络进行训练，基于情感轮先验知识层预测的情感分布，多任务损失层采用交叉熵损失和kullback-leibler(kl)损失分别度量情绪分类任务和情感分布预测任务，通过加权的方式，将两种损失函数综合起来，同时优化情绪分类和情感分布预测任务，多任务损失层采用随机梯度下降(sgd)来最小化损失函数，根据链式法则，进行梯度的反向传播。[0045]s3：对图像情感分布学习模型的参数和超参数进行初始化设置，随后将训练集原始图片随机裁剪至224*224*3的形状并进行标准化，将训练集随机均分为若干个批量，每次输入一个批量的样本图片对图像情感分布学习模型的网络参数进行训练，直至每个批量的样本图片都已参与模型训练；将样本图片输入至图像特征提取层，得到图像信息表征向量其中c为目标情绪的数量，vc为图像在第c种目标情绪的表达程度。[0046]在本发明实施例中，图像情感分布学习模型参数的初始化设置具体为：将图像特征提取层前端部分的参数初始化为vggnet在imagenet图像数据集上预训练的参数，对后段部分的参数采用正态分布初始化。图像情感分布学习模型超参数的初始化设置具体为：设多任务损失函数中情感分布预测损失函数的权重系数λ设为0.7，图像特征提取层前端部分卷积层学习率为0.001，前端部分全连接层和后端部分全连接层的学习率learning rate为0.01，并设置丢弃率dropout为0.5，每个批量的样本数量batch size为32，训练集的批量数＝训练集的样本数/每个批量的样本数量。[0047]s4：将图像信息表征向量输入情感轮先验知识层，根据每种情绪在mikel's情感轮上的位置关系，为每个情绪μ生成一个先验情感分布其中μ∈{1,2,…,c}，c为目标情绪的数量；代表情绪j在先验情感分布fμ上的表达程度，情绪μ在先验情感分布fμ中的表达程度最大，其余情绪的表达程度随着在mikel's情感轮上与情绪μ之间的距离增加而逐步递减，因此，总体上先验情感分布fμ是以情绪μ为最大值，两边逐渐递减的对称分布。[0048]的具体计算公式为：[0049][0050][0051]其中，σ为先验情感分布标准差；|j-μ|是情绪j与情绪μ在mikel's情感轮上的距离，计算方法如图3所示，例如“惊讶”与“兴奋”在mikel's情感轮上的距离为1，“恐惧”与“高兴”在mikel's情感轮上的距离为4；为情绪j与情绪μ之间的相关程度，对进行归一化得到[0052]使用先验情感分布fμ对图像特征提取层输出的图像信息表征向量进行加权计算，得到包含心理学先验知识的情感分布向量情感分布向量的具体表达式如下：[0053][0054]s5：将情感分布向量输入多任务损失层，采用交叉熵损失函数和kl损失函数分别度量情绪分类任务和情感分布预测任务；通过加权的方式，将两种损失函数综合起来，作为多任务损失层的损失函数，对情绪分类和情感分布预测任务同时进行优化，多任务损失层的损失函数l具体表达式如下：[0055]l＝(1-λ)lcls(x,y)+λlsdl(x,d)[0056]其中，lcls表示情绪分类损失函数，即交叉熵损失函数；lsdl表示情感分布预测损失函数，即kl损失函数；x为图片，y为图片对应的情绪标签，d为图片对应的真实情感分布；λ为多任务损失函数中情感分布预测损失函数的权重系数。[0057]在训练过程中，交叉熵损失用于最大化正确类别的概率，用于情绪分类任务，交叉熵损失函数的具体表达式为：[0058][0059]其中，函数n为训练集的样本数，i为第i张图片，j为第j种情绪，yi为第i张图片对应的情绪标签，为第i张图片在第j类情绪上的表达程度。[0060]kl损失是度量预测情感分布与先验情感分布或真实情感分布之间的相似性的指标之一，因此，将kl损失用于情感分布预测任务，kl损失函数的具体表达式为：[0061][0062]其中，为第i张图片在第j个情绪上的真实表达强度。[0063]多任务损失层采用随机梯度下降(sgd)来最小化损失函数l，根据链式法则，梯度的计算公式为：[0064][0065]其中，vi为图像信息表征向量的第i个分量，pk为情感分布向量的第k个分量，yk为情绪标签向量的第k个分量，为先验情感分布fk的第i个分量，dk为真实情感分布的第k个分量。多任务损失层根据上式进行梯度的反向传播，完成对图像情感分布学习模型网络参数的训练；[0066]s6：将测试集中的原始图片随机裁剪至224*224*3的形状并进行标准化，输入至训练后的图像情感分布学习模型，得到情感分布预测输出将情感分布预测输出用于情感分布预测任务，取情感分布预测输出中最大值对应的情绪作为图片的主导情绪用于情绪分类任务；情感分布预测任务采用6种评价真实情感分布和情感分布预测之间距离或相似度的指标作为图像情感分布学习模型的性能指标，分别为chebyshev距离、clark距离、canberra测度、kl散度、余弦系数和intersection相似度；情绪分类任务采用准确率作为图像情感分布学习模型的性能指标。[0067]s7：采用十折交叉验证方式从s1中重新选取测试集和训练集，并重复s3～s6十次，使图像数据集中的每张图片都作为测试集被使用一次；十折交叉验证方式可提高图像数据集的数据利用率，使图像情感分布学习模型评估效果更准确。分别对十次训练过程中图像情感分布学习模型在情感分布预测任务和情绪分类任务上的性能取均值，作为图像情感分布学习模型在情感分布预测任务和情绪分类任务上的最终性能。[0068]本发明实施例通过情感轮先验知识层将心理学情感知识直接引入深度神经网络，基于mikel's情感轮定义成对情绪之间的相关性，采用多任务卷积神经网络综合考虑情绪分类任务和情感分布预测任务，能够有效利用成对情绪之间的相关性，如表1所示，在情绪分类任务和情感分布预测任务上的性能均优于对比的图像情感分布学习模型；同时本发明实施例将图像特征提取层参数初始化为vggnet在imagenet数据集上预训练的参数，在给定数据集上对参数进行微调，这种训练方法能够有效提高模型的收敛速率，提高了工作效率，且适用于大规模数据集上的训练。[0069]表1 emotion6数据集上9种情感分布学习模型的性能对比[0070][0071]注：↑表示该指标越大越好，↓表示该指标越小越好[0072]以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!