一种针对图片检索模型的基于查询的黑盒攻击方法

计算;推算;计数设备的制造及其应用技术1.本发明涉及图片检索中的对抗攻击技术领域，更具体的是涉及一种针对图片检索模型的基于查询的黑盒攻击方法。背景技术：2.图片检索是计算机视觉中的一个重要任务。用户向图片检索模型输入一张图片，模型需要从数据库中选择与查询图片相关性较高的图片反馈给用户。图片之间的相关性则由深度度量学习神经网络给出。已有研究表明图片检索模型很难抵御对抗攻击，即恶意攻击者通过向查询图片中添加人眼不可见的微小扰动构造对抗样本就能使模型返回错误的检索图片序列。根据攻击者对被攻击模型的了解程度，现有的对抗攻击方法可分为两类：1)白盒攻击方法：此类方法假设攻击者知晓被攻击模型的全部信息，包括图片检索模型的数据库及其采用的深度度量学习神经网络的结构和权重等，攻击者能够利用这些信息轻松地构造对抗样本；2)黑盒攻击方法：此类方法通常假设攻击者不知晓被攻击模型的内部信息，只能在有限的次数内向其发起查询并获得相应的查询结果(即检索图片序列)。显然后者更贴近现实的应用情景也更具挑战性，因而得到了更多的关注。3.现有的针对图片检索模型的黑盒攻击往往只能实现一些简单的攻击目标，如“使检索图片序列前端的图片出现在序列的末端”或“改变特定图片出现在检索图片序列中的位置”，但现实应用情景下的攻击目标可能更加复杂。例如在基于图片检索的商品推荐系统中，一个恶意卖家会希望自己的商品出现在推荐列表中的某个靠前位置，同时竞争对手的商品出现在自己的商品的后面。在这种攻击情景下，攻击者(即恶意卖家)既需要“改变某张图片出现在推荐列表中的位置”还需要“改变两张图片在推荐列表中的相对顺序”，因而无法通过现有的针对图片检索的黑盒攻击方法实现。本发明的提出弥补了这一研究空白，使“消除图片检索服务中的潜在安全隐患”以及“训练健壮的图片检索模型”成为可能，具有重要的现实意义。技术实现要素：4.本发明的目的在于：弥补图片检索领域中已有黑盒对抗攻击方法的不足，提供一种针对图片检索模型的基于查询的黑盒攻击方法，借助黑盒优化器搜索使可微分的对抗损失最小化的扰动，通过将扰动叠加到查询图片上并送入到图片检索模型中，以改变特定图片出现在检索图片序列中位置。5.本发明为了实现上述目的具体采用以下技术方案：6.一种针对图片检索模型的基于查询的黑盒攻击方法，借助黑盒优化器搜索使可微分的对抗损失最小化的扰动，通过将扰动叠加到查询图片上并送入到图片检索模型中，以改变特定图片出现在检索图片序列中位置，该方法具体包括：7.步骤s1：选取目标图片并定义预期的检索图片序列；8.步骤s2：将扰动初始化为与查询图片尺寸相同的随机张量；9.步骤s3：将扰动叠加到查询图片上并送入图片检索模型中得到检索图片序列；10.步骤s4：根据当前的检索图片序列和预期的检索图片序列计算对抗损失；11.步骤s5：借助黑盒优化器对扰动进行一步更新；12.步骤s6：若满足终止条件则返回扰动并结束；否则回到步骤s3继续执行。13.作为一种可选的技术方案，所述步骤s1具体包括：14.步骤s11：选取目标图片集合15.图片检索模型f的数据库c定义为包含n张不重复图片的集合：16.c＝{c1，c2，...，cn}，17.对于查询图片q，f会返回c中与q相关性最高的k张图片作为检索图片序列l(f，q)，该序列按相关性递减排列；若c对于攻击者已知，则直接从c中选取目标图片集合；否则从序列l(f，q)中选取目标图片集合；18.步骤s12：定义预期的检索图片序列rt：19.rt的长度为不含重复元素且其中每个元素是[0，k]中的整数。[0020]作为一种可选的技术方案，所述步骤s2中的扰动δ应初始化为与查询图片尺寸相同，通道数为c，高度为h，宽度为w的随机张量，且满足如下条件：[0021]||δ||∞≤∈，[0022]其中||·||∞表示无穷范数；∈表示可容许的最大扰动的无穷范数。[0023]作为一种可选的技术方案，所述步骤s3中具体包括：[0024]步骤s31：将扰动δ叠加到查询图片q上得到得到[0025]步骤s32：将送入图片检索模型f中得到当前的检索图片序列[0026]作为一种可选的技术方案，所述步骤s4中具体包括：[0027]步骤s41：选取基准图片集合b：若c已知，则直接从c中选取基准图片集合；否则从序列l(f，q)中选取基准图片集合；[0028]步骤s42：定义样本对集合s：[0029][0030]其中(·，·)表示无序偶对；b是b中的元素，是中的元素；[0031]步骤s43：对于每个样本对定义其在当前的检索图片序列r上的两点分布：[0032][0033][0034]其中《·，·》表示有序偶对，表示在r中的排名，k表示需要指定的超参数，e表示自然常数，r(b)表示图片b在列表r中的排名。[0035]同理定义其在预期的检索图片序列rt上的两点分布：[0036][0037][0038]其中表示在rt中的排名；[0039]步骤s44：对于每个样本对计算其在r和rt上的两点分布之间的kl散度作为该样本对上的损失：[0040][0041]其中log(·)表示对数函数；[0042]步骤s45：对所有样本对上的损失求平均值作为对抗损失：[0043][0044]其中|·|表示集合中的元素数量。[0045]作为一种可选的技术方案，所述步骤s5中的黑盒优化器bo的具体形式如下：[0046][0047]bo以扰动δ及其对抗损失函数作为输入，沿着能够降低对抗损失的方向对扰动进行一步更新并返回更新后的扰动。[0048]作为一种可选的技术方案，所述步骤s6中的终止条件具体包括：[0049]1)向图像检索模型发起的查询次数达到最大值；[0050]2)当前的检索图片序列和预期的检索图片序列相同；[0051]满足上述两个条件中一个即可终止本发明的有益效果如下：[0052]1.本发明允许攻击者选择一定数量的目标图片，并通过调整扰动改变这些目标图片之间的相对顺序以及它们出现在检索图片序列中的位置，足以应对绝大多数的攻击情景。[0053]2.本发明中所设计的对抗损失是可微分的，这意味着黑盒优化器能从对抗损失函数中获得连续的反馈，加速收敛的同时还降低了陷入局部极值点的风险。附图说明[0054]图1为本发明的实现流程图；[0055]图2为本发明实施例中的原理说明图；[0056]图3为本发明实施例在cub-200和sop两个图片检索数据集上的攻击效果展示图。具体实施方式[0057]为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。[0058]因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。[0059]实施例1[0060]本发明提出一种针对图片检索模型的基于查询的黑盒攻击方法，其工作流程图见图1，该方法具体包括如下步骤：[0061]步骤s1：选取目标图片并定义预期的检索图片序列；[0062]步骤s2：将扰动初始化为与查询图片尺寸相同的随机张量；[0063]步骤s3：将扰动叠加到查询图片上并送入图片检索模型中得到检索图片序列；[0064]步骤s4：根据当前的检索图片序列和预期的检索图片序列计算对抗损失；[0065]步骤s5：借助黑盒优化器对扰动进行一步更新；[0066]步骤s6：若满足终止条件则返回扰动并结束；否则回到步骤s3继续执行。[0067]所述步骤s1具体包括：[0068]步骤s11：选取目标图片集合[0069]图片检索模型f的数据库c定义为包含n张不重复图片的集合：[0070]c＝{c1，c2，...，cn}，[0071]对于查询图片q，f会返回c中与q相关性最高的k张图片作为检索图片序列l(f，q)，该序列按相关性递减排列。若c对于攻击者已知，则直接从c中选取目标图片集合；否则从序列l(f，q)中选取目标图片集合。[0072]步骤s12：从中选取相对目标图片集合和绝对目标图片集合满足如下条件：[0073]且[0074]其中表示空集；[0075]步骤s13：定义预期的相对检索图片序列rr和预期的绝对检索图片序列ra，其中rr是整数序列的一个置换，ra是长度为且每个元素为[0，k]中整数的无重复元素的整数列表。[0076]所述步骤s2中的扰动δ应初始化为与查询图片q尺寸相同(通道数为c，高度为h，宽度为w)的随机张量，且满足如下条件：[0077]||δ||∞≤∈，[0078]其中，||·||∞表示无穷范数；∈表示可容许的最大扰动的无穷范数。[0079]所述步骤s3中具体包括：[0080]步骤s31：将扰动δ叠加到查询图片q上得到步骤s31：将扰动δ叠加到查询图片q上得到[0081]步骤s32：将送入图片检索模型f中得到当前的检索图片序列[0082]所述步骤s4中具体包括：[0083]步骤s41：定义相对样本对集合sr：[0084][0085]其中，(·，·)表示无序偶对；[0086]步骤s42：对于每个样本对定义其在r上的两点分布：[0087][0088][0089]其中，《·，·》表示有序偶对。r(·)表示某张图片在r中的排名。[0090]同理定义其在rr上的两点分布：[0091][0092][0093]其中，rr(·)表示某张图片在rr中的排名；[0094]步骤s43：对于每个样本对计算其在r和rr上的两点分布之间的kl散度作为该样本对上的损失：[0095][0096]其中，log(·)表示对数函数；[0097]步骤s44：计算sr中所有样本对上损失的平均值作为相对秩损失[0098][0099]其中，|·|表示集合中的元素数量；[0100]步骤s45：选取绝对基准图片集合ba：若c已知，则直接从中选取；否则从序列中选取。[0101]步骤s46：定义绝对样本对集合sa：[0102][0103]其中，(·，·)表示无序偶对；[0104]步骤s47：对于每个样本对定义其在r上的两点分布：[0105][0106][0107]同理定义其在ra上的两点分布：[0108][0109][0110]步骤s48：对于每个样本对计算其在r和ra上的两点分布之间的kl散度作为该样本对上的损失：[0111][0112]步骤s49：计算sa中所有样本对上损失的平均值作为绝对秩损失[0113][0114]步骤s4a：计算相对秩损失和绝对秩损失的加权和作为对抗损失[0115][0116]其中，β是平衡因子。[0117]所述步骤s5中的黑盒优化器bo的具体形式如下：[0118][0119]bo以扰动δ及其对抗损失函数作为输入，沿着能够降低对抗损失的方向对扰动进行一步更新并返回更新后的扰动。[0120]所述步骤s6中的终止条件具体包括：[0121]1)向检索模型发起的查询达到最大次数；[0122]2)当前的检索图片序列和预期的检索图片序列相同。[0123]满足上述两个条件中一个即可终止。[0124]实施例2：[0125]如图2所示，本发明提供了一种针对图片检索模型的基于查询的黑盒攻击方法，该方法允许攻击者选择一定数量的目标图片，在未知被攻击模型的数据库及深度度量学习神经网络参数的条件下，仅根据检索结果调整扰动来改变检索图片序列中这些目标图片之间的相对顺序以及它们的出现位置。此外本发明还设计了一种可微分的对抗损失，该损失能够为黑盒优化器提供连续的反馈，从而加速搜索进程并提高攻击效率。值得注意的是本发明并未指定所用的黑盒优化器，任何满足本发明中所定义的形式的黑盒优化器都是可行的。[0126]本实施例选取广泛使用的深度度量学习神经网络bn-inception以及cub-200、sop两个数据集来测试所提出方法的攻击效果。cub-200数据集中包含了来自200个类别的11,788张鸟类图片。sop数据集中包含了来自23,000个类别的120,000张网络商品图片。深度度量学习神经网络采用的嵌入特征维度为512，通过目前表现最好的多级相关性损失进行训练。对于cub-200数据集，本实施例用前100个类别进行训练并用剩余的100个类别进行测试；对于sop数据集，本实施例用11,318个类别进行训练并用11,316个类别进行测试。为了达到更好的检索效果，两个数据集上都采用了随机裁剪和随机水平翻转进行数据增强。在两个数据集上训练好的图片检索模型的效果(通过recall@k衡量)如表1所示。[0127]表1 被攻击的图片检索模型的效果[0128][0129][0130]随后本实施例分别从cub-200和sop的测试数据集中选取了1,000张图片作为查询图片并对训练好的模型进行攻击。[0131]本实施例中将最大查询次数设置为2,000并将最大扰动的幅值∈设置为0.05。本实施例选取了四种不同的黑盒优化器优化所提出的对抗损失，这些黑盒优化器所需的超参数则通过随机搜索确定。由于本发明既能改变目标图片在检索图片序列中的相对顺序(称之为相对攻击)，还能改变目标图片在检索图片序列中的具体位置(称之为绝对攻击)，我们引入如下两个指标分别评估这两种攻击的效果：[0132]1)正则化秩相关系数：定义为sr中在r和rr中相对顺序一致的样本对数与|sr|的比值，用于评估相对攻击效果；[0133]2)攻击成功率：定义为中在r和ra中位置相同的目标图片数量与的比值，用于评估绝对攻击效果。[0134]为了直观地展示所提出方法的有效性，本实施例中还提供了另外两个比较方法。从表2和表3中可以看出在同一实验设置下，相较两种对比方法本发明所提出的方法在不同的黑盒优化器上都能达到更高的正则化秩相关系数和攻击成功率，这意味着本发明所提出的方法在相对攻击和绝对攻击上都取得了更好的效果。[0135]表2 相对攻击效果(通过正则化秩相关系数衡量)[0136][0137][0138]表3 绝对攻击效果(通过攻击成功率衡量)[0139][0140]图3其中第一列是查询图片以及用不同黑盒优化器构造的对抗样本，其余几列是图片检索模型按照相关性递减返回的检索图片序列。可以看出本发明生成的对抗样本与正常图片间的区别几乎无法通过人眼分辨，却能使模型返回的检索图片序列发生明显改变(位置改变的图片已用红框标出)。这说明本发明所构造的对抗样本能够在不被人察觉的情况下对图片检索模型产生足够的安全威胁，证实了本发明所提出的方法的有效性。[0141]以上所述仅为本发明的较佳实施例而已，并不用以限制本发明的保护范围，任何熟悉本领域的技术人员在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!