动态传播特征增强的多模态谣言检测方法及系统 专利技术说明

计算;推算;计数设备的制造及其应用技术1.本发明属于自然语言处理领域，具体涉及一种动态传播特征增强的多模态谣言检测方法及系统。背景技术：2.谣言检测(rumor detection)，又称虚假新闻检测，是自然语言处理(nlp)领域中一项重要的研究任务。随着社交媒体的兴起，微博、twitter等社交媒体已经成为人们不可缺少的交流工具。但由于社交媒体传播速度快且范围广，谣言已逐渐成为人们关注的重要问题。在社交媒体中，谣言是一种未经证实的信息表述，通常会使用虚假或者伪造的图像以及煽动性的文字误导用户。谣言的出现常常会给个人或社会造成巨大的经济损失和严重的危害。虽然各社交媒体机构已陆续上线了辟谣平台来加强对谣言的管控，但这些平台仍需要耗费大量人力物力收集信息来判断谣言的真实性。因此，迫切需要一种能够有效检测谣言的自动化方法。3.由于深度学习方法相较于传统机器学习方法具有很大的性能优势，越来越多的研究学者开始将深度学习方法应用到谣言检测问题中。深度神经网络能够自动学习质量更高、更具有本质代表性的数据特征，例如卷积神经网络和循环神经网络。卷积神经网络可以从文本中捕获局部的语义信息，因此一些研究学者将其应用于基于文本内容的谣言检测中。但是，卷积神经网络往往不能充分学习文本句子中的上下文信息，而上下文信息对于理解文本的整体语义来说非常的重要。因此基于卷积神经网络的谣言检测模型在性能上受到了限制。为了解决这个问题，一些研究学者提出利用循环神经网络来提取文本中的上下文语义信息，例如长短期记忆(lstm)和门控循环单元(gru)等。与卷积神经网络不同，循环神经网络将句子视为一个单词序列，按时间顺序选取每个单词，将隐藏层的输出作为下一个隐藏层的输入，不断学习序列数据中的上下文信息，能够让模型很好地理解句子的整体语义，提高谣言检测的性能。尽管基于循环神经网络的谣言检测模型在性能上取得了一定的突破，但是仍然存在一些缺陷。这种方法只利用了文本信息来检测谣言，忽略了谣言传播过程的拓扑关系。4.因此，一些研究学者研究了基于文本信息和传播图的谣言检测方法。通过对帖子的传播过程建模构建传播图，使用图神经网络聚合邻居节点的信息，以达到捕获谣言的传播结构特征的目的。例如wu等人对每个样本帖子构建传播图，利用门控图神经网络对关系路径上的邻接节点交换信息，更新节点表示，从而增强传播图的节点特征表示。ma等人利用自顶向下和自低向上的树形循环神经网络来捕获谣言的语义特征和传播特征。此外，部分研究学者开始尝试构建异构传播图为模拟谣言传播过程提供新的研究方向，并取得了出色的性能表现。huang等人构建了帖子-词-用户异构图，利用基于关系路径的异构图注意力网络来捕获文本的全局语义关系和帖子传播的全局结构信息。khoo等人使用多头注意力机制对不同帖子之间的长距离交互进行建模，提出一种帖子级注意力模型。ran等人提出一种多通道图注意力网络，该网络分别对源帖子与评论的关系、源帖子与用户的关系、源推文与其单词的关系进行建模构建三个异构子图，并设计了事件共享模块来学习不同谣言事件中的共性特征。bian等人利用双向图卷积网络学习谣言的传播模式，捕捉谣言扩散的结构特征。yuan等人将帖子、转帖和用户的全局关系建模成异构图，然后从帖子和用户的传播关系中捕获局部语义信息和全局结构信息。5.随着多媒体技术的发展，社交媒体上的信息逐渐呈现出多模态的特点，即包含文本、图像等多种类型的信息。图像也渐渐成为谣言的重要组成部分，它通常比文字更容易吸引和误导用户，从而快速传播。因此，基于多模态的谣言检测已经成为了一个新的热点研究方向。khattar等人提出了一种用于谣言检测的多模态变分自动编码器来学习文本和图片两个模态的共享表示。zhang等人通过引入立场任务，设计了一个多模态多任务学习框架。zhou等人考虑文本信息和视觉信息之间的相关性，根据文本和图像的不匹配信息来识别谣言。6.虽然目前有关谣言检测的研究在准确率上取得了一定的成果，但在学习谣言传播过程和多模态融合中仍然存在问题。现有基于多模态的谣言检测模型通常只考虑帖子的文本和图像信息，忽略了谣言的传播过程和规律，并且在进行多模态融合时只是简单地拼接不同模态的特征，没有考虑跨模态之间的关系。其次，现有基于传播图的谣言检测模型在使用图神经网络聚合传播图节点信息时，无法区分邻接节点对目标节点的影响。这些问题都可能导致谣言的检测性能下降。技术实现要素：7.本发明的目的在于提供一种动态传播特征增强的多模态谣言检测方法及系统，该方法及系统有利于提高社交媒体中谣言检测的准确性和可靠性。8.为实现上述目的，本发明采用的技术方案是：一种动态传播特征增强的多模态谣言检测方法，包括以下步骤：9.步骤a：在社交媒体中收集多媒体帖子，提取出帖子中的文本、评论、图像和用户资料，并对帖子的真实性标签进行标注，以此构建训练数据集ds；10.步骤b：使用训练数据集ds训练具有动态传播特征增强的多模态谣言检测模型m，以利用模型m来分析帖子的真实性，并得出帖子的预测标签；11.步骤c：将未检测多媒体帖子的文本、评论、图像和用户资料输入到训练好的多模态谣言检测模型m中，获得多媒体帖子的真实性标签。12.进一步地，所述步骤b具体包括以下步骤：13.步骤b1：对训练数据集ds中的所有训练样本进行初始编码，得到文本初始表征向量et、评论初始表征向量er和用户初始表征向量eu；14.步骤b2：将文本初始表征向量et和帖子中的图像分别输入到text-cnn和resnet50中得到帖子文本特征表征向量ft和视觉特征表征向量fv；15.步骤b3：对帖子传播过程中的用户、源帖、评论及其相应交互关系进行建模，构建异构传播图g；将异构传播图g输入到多层动态异构图神经网络dyhgn中，dyhgn主要包括符号注意力机制和根节点增强模块，首先通过符号注意力机制得到节点ni与所有邻接节点的注意力系数向量a，然后将注意力系数作为权重来聚合所有邻接节点的信息，通过根节点增强后得到节点ni的信息表征向量h(l)[ni]，最后经过l层dyhgn后得到节点ni的动态传播特征表征向量fg；[0016]步骤b4：将帖子的文本特征表征向量ft和视觉特征表征向量fv输入到共同注意力网络中，获得帖子文本和视觉的联合表征向量ftv；再将帖子的文本特征表征向量ft和动态传播特征表征向量fg输入到共同注意力网络中，获得帖子文本和传播图的联合表征向量ftg；[0017]步骤b5：将步骤b4得到的帖子文本和视觉的联合表征向量ftv和帖子文本和传播图的联合表征向量ftg在自监督损失的情况下进行模态对齐操作，得到对齐后的文本视觉的联合表征向量和文本传播图的联合表征向量然后将模态对齐后的文本视觉联合表征向量和文本传播图联合表征向量输入到共同注意力网络中，得到帖子的多模态表征向量ftvg；[0018]步骤b6：将帖子的多模态表征向量ftvg输入到全连接层中，获得到帖子的预测结果；然后根据目标损失函数loss，通过利用反向传播方法计算多模态谣言检测模型中各参数的梯度，并利用反向传播迭代更新模型的所有参数；[0019]步骤b7：当多模态谣言检测模型每次迭代产生的损失值变化小于所给定阈值或者达到最大迭代次数时，则终止模型的训练过程。[0020]进一步地，所述步骤b1具体包括以下步骤：[0021]步骤b11：对训练数据集ds的样本数据进行遍历，对帖子的文本和评论内容同时进行分词处理并去除停用词和特殊符号，并对包含无效图像的帖子进行删除；ds中的每个样本帖子si表示为si＝(ti，ri，ui，vi，a)；其中，ti，vi和ui分别表示帖子的文本、图像和发布者，ri表示帖子si相应的评论集合，表示帖子si的第j条评论；此外，每个评论都是由相应用户发布；a为帖子对应的真实性标签，a∈{非谣言，谣言}；[0022]帖子的文本ti表示为：[0023][0024]其中，为帖子文本内容ti中的第k个词，k＝1，2，…，n，n为帖子文本ti的词语数量；[0025]帖子的评论表示为：[0026][0027]其中，为评论内容中的第k个词，i＝1，2，…，m，m为评论的词语数量；[0028]步骤b12：对步骤b11得到文本通过word2vec进行编码，得到文本ti的初始表征向量et；et表示为：[0029][0030]其中，表示从预训练的词向量矩阵中查找得到的词嵌入表征向量，表示第k个词所对应的词嵌入表征向量，d表示词嵌入表征向量的维度，|v|表示词典v中的单词数；[0031]步骤b13：对步骤b11得到的评论通过word2vec进行编码，得到评论的初始表征向量er；er表示为：[0032][0033]其中，表示从预训练的词向量矩阵中查找得到的词嵌入表征向量，表示第k个词所对应的词嵌入表征向量，d表示词嵌入表征向量的维度，|v|是词典v中的单词数；[0034]步骤b14：利用word2vec对用户资料中的历史发布帖子进行编码，然后取所有编码向量的平均值得到用户ui的初始表征向量其中d为表征向量的维度。[0035]进一步地，所述步骤b2具体包括以下步骤：[0036]步骤b21：将帖子文本ti的初始表征向量et输入到text-cnn中，使用尺寸为h的卷积核对输入矩阵进行卷积操作，得到第j个单词开始的连续h个单词的序列特征表示cj，其计算过程如下：[0037][0038]其中，卷积核大小h∈{3，4，5}，wt表示过滤器的权重矩阵，σ(·)表示relu激活函数；[0039]步骤b22：然后将文本所有单词经过卷积核卷积操作后的结果c进行最大池化操作，得到卷积后的表征向量，最后将不同尺寸卷积核的池化结果进行拼接，得到文本特征表征向量ft：[0040]c＝(c1…cj…cn-h+1)[0041][0042][0043]其中，maxpool(·)表示最大池化函数；[0044]步骤b23：将帖子中的图像vi输入到resnet50中，提取resnet50最后第二层的输出表示为vresnet，再将其通过一个全连接层，获得视觉特征表征向量fv：[0045]fv＝σ(wv·vresnet)[0046]其中，wv是全连接层的参数，σ(·)表示非线性激活函数。[0047]进一步地，所述步骤b3具体包括以下步骤：[0048]步骤b31：对帖子传播过程中的用户、源帖、评论及其相应交互关系进行建模，构建异构传播图g＝(v，e)；其中，节点集v包含数据集ds中的所有帖子节点、评论节点、发布帖子的用户节点和发布评论的用户节点，边集合e包含发布和评论关系；并将步骤b1得到的文本初始表征向量et、评论初始表征向量er和用户初始表征向量eu分别作为各对应节点的初始表征向量；[0049]步骤b32：将异构传播图g＝(v，e)输入到多层动态异构图神经网络dyhgn中，dyhgn首先利用相对时间编码机制来建模异构传播图中的动态依赖关系，将节点的时间戳信息都考虑在内，对于图中的帖子节点ni和它的所有邻接节点集合考虑在内，对于图中的帖子节点ni和它的所有邻接节点集合其计算过程如下：[0050][0051][0052]rte(δt(ni，n′j))＝linear(pe(δt(ni，n′j)))[0053]其中，linear(·)为线性映射函数，δt(ni，n′j)表示节点ni和节点n′j的相对时间间隔；[0054]步骤b33：然后将相对于节点ni的时间编码加入到评论节点n′j的表示中，得到节点n′j的初始表征向量其计算过程如下：[0055][0056]其中，n′j表示节点ni的第j个邻接节点；[0057]步骤b34：通过步骤b33得到所有邻接节点的初始表征向量后，dyhgn为不同类型的节点和边分别设置了不同的线性映射函数和参数矩阵，通过参数共享尽可能为节点和边保留特定于自身类型的特性，分别计算节点ni和邻接节点的注意力权重，以表示不同邻接节点对节点ni的不同重要性，得到节点ni与所有邻接节点的注意力系数向量与所有邻接节点的注意力系数向量其计算过程如下：[0058][0059][0060][0061][0062]其中，τ(ni)表示节点si的类型，φ(e)表示边e的类型；的类型，φ(e)表示边e的类型；分别表示为τ(ni)类型和τ(n′j)类型节点的线性映射函数，)类型节点的线性映射函数，表示φ(e)类型边的参数矩阵；[0063]步骤b35：dyhgn使用符号注意力机制来捕获相邻节点之间的正负相关性，以区分邻接节点对目标节点的影响；具体为：将步骤b34得到的注意力系数向量a进行反转得到注意力向量并通过softtmax得到标准化权重向量a′和然后使用标准化权重对所有邻居节点的信息进行聚合，得到节点ni新的特征表征向量其计算过程如下：[0064][0065]a′＝softmax(a)[0066][0067][0068][0069]其中，wg表示全连接层的参数矩阵，||表示拼接符号，σ(·)表示激活函数；[0070]步骤b36：将节点ni新的特征表征向量通过根节点增强来更好地利用来自源节点的信息，得到更准确的节点表示h(l)[ni]，其计算过程如下：[0071][0072]其中，为线性映射函数表示将节点ni映射回对应类别的特征空间中；最后将第l层dyhgn的输出结果作为最终输出，即重复执行l次步骤b32至步骤b36后得到节点ni的动态传播特征表示fg。[0073]进一步地，所述步骤b4具体包括以下步骤：[0074]步骤b41：将步骤b2得到的文本特征表征向量ft和视觉特征表征向量fv输入到共同注意力网络中，通过两个交叉注意力子层分别得到基于图像的文本特征表征向量zt和基于文本的图像特征表征向量zv，其计算过程如下：[0075]zt＝crossatt(ft，fv)[0076]zv＝crossatt(fv，ft)[0077]其中，crossatt(·)表示交叉注意力函数；[0078]步骤b42：将基于图像的文本特征表征向量zt和基于文本的图像特征表征向量zv分别输入到两个自注意力子层中，引导模型关注到每个单模态特定于自身的关键特征，然后将两个自注意力子层的输出进行拼接，得到文本和视觉的联合表征表示ftv，其计算过程如下：[0079][0080][0081][0082]其中，selfatt(·)表示自注意力函数，concat(·)表示拼接函数；[0083]步骤b43：将步骤b2得到的文本特征表征向量ft和步骤b3得到的动态传播特征表征向量fg一起输入到共同注意力网络中，执行和步骤b41和步骤b42相同的操作，得到文本和传播图的联合表征向量ftg。[0084]进一步地，所述步骤b5具体包括以下步骤：[0085]步骤b51：将步骤b4得到的帖子文本和视觉的联合表征向量ftv和帖子文本和传播图的联合表征向量ftg在自监督损失的情况下进行模态对齐操作，采用均方损失作为自监督的损失函数，将两种模态映射在同一个特征空间中，得到对齐后的文本视觉的联合表征向量和文本传播图的联合表征向量并将对齐的损失函数表示为lalign，其计算过程如下：[0086][0087][0088][0089]其中wtv和wtg表示可学习参数矩阵；[0090]步骤b52：将对齐后的联合特征表示和输入到共同注意力网络中进行下一步的多模态融合，执行和步骤b41和步骤b42相同的操作，得到多媒体帖子的多模态特征表示ftvg，其计算公式如下：[0091][0092][0093][0094][0095][0096]进一步地，所述步骤b6具体包括以下步骤：[0097]步骤b61：将步骤b52得到的多模态表征向量ftvg输入到全连接层中，并使用softmax进行标准化，得到帖子属于各类别的预测概率，计算公式如下：[0098]y＝woftvg+b[0099]pa(y)＝softmax(y)[0100]其中，y表示全连接层输出向量，为全连接层参数矩阵，b为全连接层偏置项，pa(y)表示预测该帖子标签类别为a的概率，0≤pa(y)≤1，a∈{非谣言，谣言}；[0101]步骤b62：使用交叉熵损失函数作为分类的损失函数计算损失值，其计算公式如下：[0102][0103]其中，是l2正则化项，λ是学习率，θ为模型包含的所有参数；[0104]步骤b63：将对齐损失lalign和分类损失lclassify一起作为模型的最终损失函数loss，利用梯度优化算法adam作为优化器，通过反向传播迭代更新模型的所有参数，以最小化损失函数loss来训练模型，计算公式如下：[0105]loss＝βalalign+βclclassify[0106]其中，βa和βc为用来平衡两种损失的系数。[0107]本发明还提供了一种采用上述方法的动态传播特征增强的多模态谣言检测系统，包括：[0108]数据收集模块，用于提取社交媒体中帖子的文本、评论、图像和相关用户资料，并对帖子的真实性标签类别进行标注，构建训练数据集；[0109]数据处理模块，用于对训练数据集中的训练样本数据进行预处理；[0110]文本编码模块，用于从预训练的词向量字典中查找经过预处理后的帖子文本内容和评论内容中单词的词向量，得到帖子文本内容的初始表征向量和评论内容的初始表征向量；[0111]用户编码模块，用于根据用户资料信息对用户进行编码，得到用户的初始表征向量；[0112]模型训练模块，用于将帖子文本的初始表征向量、评论的初始表征向量和用户的初始表征向量输入到多模态谣言检测模型中，得到帖子的多模态表征向量，利用该表征向量预测其属于某一标签类别的概率，并通过与该帖子的真实类别标注作对比计算损失，以最小化损失为目标来对整个多模态谣言检测模型进行训练，得到具有动态传播特征增强的多模态谣言检测模型；[0113]多模态谣言检测模块，用于检测多媒体帖子的真实性，利用训练好的具有动态传播特征增强的多模态谣言检测模型对输入的待检测帖子进行分析和处理，提取帖子的文本语义信息、视觉信息和异构传播图中的动态传播信息，将三种模态信息有效融合，最终输出帖子的预测标签。[0114]与现有技术相比，本发明具有以下有益效果：提供了一种动态传播特征增强的多模态谣言检测方法及系统，该方法及系统通过构建具有动态传播特征增强的多模态谣言检测模型，基于动态传播特征增强对帖子进行多模态表征，并融合多模态特征，进而对帖子的真实性进行判断，提高了社交媒体中帖子谣言检测的准确性和可靠性，具有很强的实用性和广阔的应用前景。附图说明[0115]图1是本发明实施例的方法实现流程图；[0116]图2是本发明实施例中多模态谣言检测模型的架构图；[0117]图3是本发明实施例的系统结构示意图。具体实施方式[0118]下面结合附图及实施例对本发明做进一步说明。[0119]应该指出，以下详细说明都是示例性的，旨在对本技术提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本技术所属技术领域的普通技术人员通常理解的相同含义。[0120]需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本技术的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。[0121]如图1所示，本实施例提供了一种动态传播特征增强的多模态谣言检测方法，包括以下步骤：[0122]步骤a：在社交媒体中收集多媒体帖子，提取出帖子中的文本、评论、图像和用户资料，并对帖子的真实性标签进行标注，以此构建训练数据集ds。[0123]步骤b：使用训练数据集ds训练具有动态传播特征增强的多模态谣言检测模型m，模型架构如图2所示，以利用模型m来分析帖子的真实性，并得出帖子的预测标签。[0124]步骤c：将未检测多媒体帖子的文本、评论、图像和用户资料输入到训练好的多模态谣言检测模型m中，获得多媒体帖子的真实性标签。[0125]在本实施例中，所述步骤b具体包括以下步骤：[0126]步骤b1：对训练数据集ds中的所有训练样本进行初始编码，得到文本初始表征向量et、评论初始表征向量er和用户初始表征向量eu。[0127]在本实施例中，所述步骤b1具体包括以下步骤：[0128]步骤b11：对训练数据集ds的样本数据进行遍历，对帖子的文本和评论内容同时进行分词处理并去除停用词和特殊符号，并对包含无效图像的帖子进行删除；ds中的每个样本帖子si表示为si＝(ti，ri，ui，vi，a)；其中，ti，vi和ui分别表示帖子的文本、图像和发布者，ri表示帖子si相应的评论集合，表示帖子si的第j条评论；此外，每个评论都是由相应用户发布；a为帖子对应的真实性标签，a∈{非谣言，谣言}。[0129]帖子的文本ti表示为：[0130][0131]其中，为帖子文本内容ti中的第k个词，k＝1，2，…，n，n为帖子文本ti的词语数量。[0132]帖子的评论表示为：[0133][0134]其中，为评论内容中的第k个词，i＝1，2，…，m，m为评论的词语数量。[0135]步骤b12：对步骤b11得到文本通过word2vec进行编码，得到文本ti的初始表征向量et；et表示为：[0136][0137]其中，表示从预训练的词向量矩阵中查找得到的词嵌入表征向量，表示第k个词所对应的词嵌入表征向量，d表示词嵌入表征向量的维度，|v|表示词典v中的单词数。[0138]步骤b13：对步骤b11得到的评论通过word2vec进行编码，得到评论的初始表征向量er；er表示为：[0139][0140]其中，表示从预训练的词向量矩阵中查找得到的词嵌入表征向量，表示第k个词所对应的词嵌入表征向量，d表示词嵌入表征向量的维度，|v|是词典v中的单词数。[0141]步骤b14：利用word2vec对用户资料中的历史发布帖子进行编码，然后取所有编码向量的平均值得到用户ui的初始表征向量其中d为表征向量的维度。[0142]步骤b2：将文本初始表征向量et和帖子中的图像分别输入到text-cnn和resnet50中得到帖子文本特征表征向量ft和视觉特征表征向量fv。[0143]在本实施例中，所述步骤b2具体包括以下步骤：[0144]步骤b21：将帖子文本ti的初始表征向量et输入到text-cnn中，使用尺寸为h的卷积核对输入矩阵进行卷积操作，得到第j个单词开始的连续h个单词的序列特征表示cj，其计算过程如下：[0145][0146]其中，卷积核大小h∈{3，4，5}，wt表示过滤器的权重矩阵，σ(·)表示relu激活函数。[0147]步骤b22：然后将文本所有单词经过卷积核卷积操作后的结果c进行最大池化操作，得到卷积后的表征向量，最后将不同尺寸卷积核的池化结果进行拼接，得到文本特征表征向量ft：[0148]c＝(c1…cj…cn-h+1)[0149][0150][0151]其中，maxpool(·)表示最大池化函数。[0152]步骤b23：将帖子中的图像vi输入到resnet50中，提取resnet50最后第二层的输出表示为vresnet，再将其通过一个全连接层，获得视觉特征表征向量fv：[0153]fvv＝σ(wv·vresnet)[0154]其中，wv是全连接层的参数，σ(·)表示非线性激活函数。[0155]步骤b3：对帖子传播过程中的用户、源帖、评论及其相应交互关系进行建模，构建异构传播图g；将异构传播图g输入到多层动态异构图神经网络dyhgn中，dyhgn网络主要包括符号注意力机制和根节点增强模块，首先通过符号注意力机制得到节点ni与所有邻接节点的注意力系数向量a，然后将注意力系数作为权重来聚合所有邻接节点的信息，通过根节点增强后得到节点ni的信息表征向量h(l)[ni]，最后经过l层dyhgn后得到节点ni的动态传播特征表征向量fg。[0156]在本实施例中，所述步骤b3具体包括以下步骤：[0157]步骤b31：对帖子传播过程中的用户、源帖、评论及其相应交互关系进行建模，构建异构传播图g＝(v，e)；其中，节点集v包含数据集ds中的所有帖子节点、评论节点、发布帖子的用户节点和发布评论的用户节点，边集合e包含发布和评论关系；并将步骤b1得到的文本初始表征向量et、评论初始表征向量er和用户初始表征向量eu分别作为各对应节点的初始表征向量。[0158]步骤b32：将异构传播图g＝(v，e)输入到多层动态异构图神经网络dyhgn中，dyhgn首先利用相对时间编码机制来建模异构传播图中的动态依赖关系，将节点的时间戳信息都考虑在内，对于图中的帖子节点ni和它的所有邻接节点集合和它的所有邻接节点集合其计算过程如下：[0159][0160][0161]rte(δt(ni，n′j))＝linear(pe(δt(ni，n′j)))[0162]其中，linear(·)为线性映射函数，δt(ni，n′j)表示节点ni和节点n′j的相对时间间隔。[0163]步骤b33：然后将相对于节点ni的时间编码加入到评论节点n′j的表示中，得到节点n′j的初始表征向量其计算过程如下：[0164][0165]其中，n′j表示节点ni的第j个邻接节点。[0166]步骤b34：通过步骤b33得到所有邻接节点的初始表征向量后，dyhgn为不同类型的节点和边分别设置了不同的线性映射函数和参数矩阵，通过参数共享尽可能为节点和边保留特定于自身类型的特性，分别计算节点ni和邻接节点的注意力权重，以表示不同邻接节点对节点ni的不同重要性，得到节点ni与所有邻接节点的注意力系数向量与所有邻接节点的注意力系数向量其计算过程如下：[0167][0168][0169][0170][0171]其中，τ(ni)表示节点si的类型，φ(e)表示边e的类型；的类型，φ(e)表示边e的类型；分别表示为τ(ni)类型和τ(n′j)类型节点的线性映射函数，)类型节点的线性映射函数，表示φ(e)类型边的参数矩阵。[0172]步骤b35：dyhgn使用符号注意力机制来捕获相邻节点之间的正负相关性，以区分邻接节点对目标节点的影响；具体为：将步骤b34得到的注意力系数向量a进行反转得到注意力向量并通过softtmax得到标准化权重向量a′和然后使用标准化权重对所有邻居节点的信息进行聚合，得到节点ni新的特征表征向量其计算过程如下：[0173][0174]a′＝softmax(a)[0175][0176][0177][0178]其中，wg表示全连接层的参数矩阵，||表示拼接符号，σ(·)表示激活函数。[0179]步骤b36：将节点ni新的特征表征向量通过根节点增强来更好地利用来自源节点的信息，得到更准确的节点表示h(l)[ni]，其计算过程如下：[0180][0181]其中，为线性映射函数表示将节点ni映射回对应类别的特征空间中；最后将第l层dyhgn的输出结果作为最终输出，即重复执行l次步骤b32至步骤b36后得到节点ni的动态传播特征表示fg。[0182]步骤b4：将帖子的文本特征表征向量ft和视觉特征表征向量fv输入到共同注意力网络中，获得帖子文本和视觉的联合表征向量ftv；再将帖子的文本特征表征向量ft和动态传播特征表征向量fg输入到共同注意力网络中，获得帖子文本和传播图的联合表征向量ftg。[0183]在本实施例中，所述步骤b4具体包括以下步骤：[0184]步骤b41：将步骤b2得到的文本特征表征向量ft和视觉特征表征向量fv输入到共同注意力网络中，通过两个交叉注意力子层分别得到基于图像的文本特征表征向量zt和基于文本的图像特征表征向量zv，其计算过程如下：[0185]zt＝crossatt(ft，fv)[0186]zv＝crossatt(fv，ft)[0187]其中，crossatt(·)表示交叉注意力函数。[0188]步骤b42：将基于图像的文本特征表征向量zt和基于文本的图像特征表征向量zv分别输入到两个自注意力子层中，引导模型关注到每个单模态特定于自身的关键特征，然后将两个自注意力子层的输出进行拼接，得到文本和视觉的联合表征表示ftv，其计算过程如下：[0189][0190][0191][0192]其中，selfatt(·)表示自注意力函数，concat(·)表示拼接函数。[0193]步骤b43：将步骤b2得到的文本特征表征向量ft和步骤b3得到的动态传播特征表征向量fg一起输入到共同注意力网络中，执行和步骤b41和步骤b42相同的操作，得到文本和传播图的联合表征向量ftg。[0194]步骤b5：将步骤b4得到的帖子文本和视觉的联合表征向量ftv和帖子文本和传播图的联合表征向量ftg在自监督损失的情况下进行模态对齐操作，得到对齐后的文本视觉的联合表征向量和文本传播图的联合表征向量然后将模态对齐后的文本视觉联合表征向量和文本传播图联合表征向量输入到共同注意力网络中，得到帖子的多模态表征向量ftvg。[0195]在本实施例中，所述步骤b5具体包括以下步骤：[0196]步骤b51：将步骤b4得到的帖子文本和视觉的联合表征向量ftv和帖子文本和传播图的联合表征向量ftg在自监督损失的情况下进行模态对齐操作，采用均方损失作为自监督的损失函数，将两种模态映射在同一个特征空间中，得到对齐后的文本视觉的联合表征向量和文本传播图的联合表征向量并将对齐的损失函数表示为lalign，其计算过程如下：[0197][0198][0199][0200]其中wtv和wtg表示可学习参数矩阵。[0201]步骤b52：将对齐后的联合特征表示和输入到共同注意力网络中进行下一步的多模态融合，执行和步骤b41和步骤b42相同的操作，得到多媒体帖子的多模态特征表示ftvg，其计算公式如下：[0202][0203][0204][0205][0206][0207]步骤b6：将帖子的多模态表征向量ftvg输入到全连接层中，获得到帖子的预测结果；然后根据目标损失函数loss，通过利用反向传播方法计算多模态谣言检测模型中各参数的梯度，并利用反向传播迭代更新模型的所有参数。[0208]在本实施例中，所述步骤b6具体包括以下步骤：[0209]步骤b61：将步骤b52得到的多模态表征向量ftvg输入到全连接层中，并使用softmax进行标准化，得到帖子属于各类别的预测概率，计算公式如下：[0210]y＝woftvg+b[0211]pa(y)＝softmax(y)[0212]其中，y表示全连接层输出向量，为全连接层参数矩阵，b为全连接层偏置项，pa(y)表示预测该帖子标签类别为a的概率，0≤pa(y)≤1，a∈{非谣言，谣言}。[0213]步骤b62：使用交叉熵损失函数作为分类的损失函数计算损失值，其计算公式如下：[0214][0215]其中，是l2正则化项，λ是学习率，θ为模型包含的所有参数。[0216]步骤b63：将对齐损失lalign和分类损失lclassify一起作为模型的最终损失函数loss，利用梯度优化算法adam作为优化器，通过反向传播迭代更新模型的所有参数，以最小化损失函数loss来训练模型，计算公式如下：[0217]loss＝βalalign+βclclassify[0218]其中，βa和βc为用来平衡两种损失的系数。[0219]步骤b7：当多模态谣言检测模型每次迭代产生的损失值变化小于所给定阈值或者达到最大迭代次数时，则终止模型的训练过程。[0220]如图3所示，本实施例还提供了采用上述方法的动态传播特征增强的多模态谣言检测系统，包括：数据收集模块、数据处理模块、文本编码模块、用户编码模块、模型训练模块和多模态谣言检测模块。[0221]所述数据收集模块用于提取社交媒体中帖子的文本、评论、图像和相关用户资料，并对帖子的真实性标签类别进行标注，构建训练数据集。[0222]所述数据处理模块用于对训练数据集中的训练样本数据进行预处理。[0223]所述文本编码模块用于从预训练的词向量字典中查找经过预处理后的帖子文本内容和评论内容中单词的词向量，得到帖子文本内容的初始表征向量和评论内容的初始表征向量。[0224]所述用户编码模块用于根据用户资料信息对用户进行编码，得到用户的初始表征向量。[0225]所述模型训练模块用于将帖子文本的初始表征向量、评论的初始表征向量和用户的初始表征向量输入到多模态谣言检测模型中，得到帖子的多模态表征向量，利用该表征向量预测其属于某一标签类别的概率，并通过与该帖子的真实类别标注作对比计算损失，以最小化损失为目标来对整个多模态谣言检测模型进行训练，得到具有动态传播特征增强的多模态谣言检测模型。[0226]所述多模态谣言检测模块用于检测多媒体帖子的真实性，利用训练好的具有动态传播特征增强的多模态谣言检测模型对输入的待检测帖子进行分析和处理，提取帖子的文本语义信息、视觉信息和异构传播图中的动态传播信息，将三种模态信息有效融合，最终输出帖子的预测标签。[0227]本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。[0228]本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。[0229]这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。[0230]这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。[0231]以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!