数据包处理方法及装置与流程

电子通信装置的制造及其应用技术1.本发明涉及数据处理技术领域，特别是涉及一种数据包处理方法及装置。背景技术：2.大型数据中心每天都可能面临着网络攻击者们不断试图破坏企业应用程序或窃取企业数据。为防御这些安全威胁，企业组织结构需要一套解决方案，对网络数据流量进行深度检测实时分析，并对网络攻击中的行为进行主动防御。3.由于数据中心的流量庞大，读取全部的数据包用于分析，可能在短时间内就达到tb级别，需要大量的存储空间来存储数据包。然而实际应用过程中中的存储设备无法满足大量数据包的存储需求，因此只能短期存储部分数据包，在采集到新的数据包后立即覆盖旧数据包，但短时间的存储可能无法实现对数据流量的监控和分析，导致对于网络攻击的分析不够全面。技术实现要素：4.有鉴于此，本发明提供一种数据包处理方法，通过该方法，可以筛选部分数据包进行存储，便于中长期存储数据包文件，方便安全人员对安全事件进行复盘和分析。5.本发明还提供了一种数据包处理装置，用以保证上述方法在实际中的实现及应用。6.一种数据包处理方法，包括：在数据中心启用预先设置的分光器，控制所述分光器对经过所述数据中心的数据流量进行镜像处理，获得镜像流量；获取所述数据中心的运行日志，所述运行日志记录所述数据中心被攻击的攻击信息；基于所述运行日志中的攻击信息，设置所述镜像流量的存储模式；从所述镜像流量中筛选出符合所述存储模式的多个目标数据包，并对各个所述目标数据包进行存储；将已存储的所述目标数据包经过预设的对象存储api发送至预设的展示下载模块，控制所述展示下载模块按照预设的展示规则展示各个所述目标数据包。7.上述的在方法，可选的，所述控制所述分光器对经过所述数据中心的数据流量进行镜像处理，获得镜像流量，包括：设置所述分光器的分光比例；基于所述分光比例调整所述分光器，控制所述分光器分出所述数据中心中所述分光比例对应的光信号，通过所述光信号获得所述数据中心的数据流量对应的镜像流量。8.上述的在方法，可选的，所述基于所述运行日志中的攻击信息，设置所述镜像流量的存储模式，包括：获取所述运行日志的攻击信息中包含的所述数据中心遭受到攻击的各个攻击时间点；确定各个所述攻击时间点的连续性，并基于各个所述攻击时间点的连续性确定所述数据中心遭受到攻击的攻击类型；当所述攻击类型为连续攻击时，设置所述镜像流量的存储模式为全量存储模式，所述全量存储模式表征将所述镜像流量的所有数据包进行存储；当所述攻击类型为非连续攻击时，设置所述镜像流量的存储模式为采样存储模式，所述采样存储模式表征按照预设的选取规则筛选数据包进行存储。9.上述的在方法，可选的，所述从所述镜像流量中筛选出符合所述存储模式的多个目标数据包，包括：当所述存储模式为采样存储模式时，基于各个所述攻击时间点，确定是否存在多个连续的攻击时间点之间的时间间隔小于预设时间间隔；当存在多个连续的攻击时间点之间的时间间隔小于预设时间间隔时，基于预先设置的采样时间间隔和采样个数，从所述镜像流量中筛选出多个目标数据包；当不存在多个连续的攻击时间点之间的时间间隔小于预设时间间隔时，基于预先设置的采样比和采样间隔，从所述镜像流量中筛选出多个目标数据包。10.上述的在方法，可选的，还包括：丢弃所述镜像流量中未被选中的数据包。11.一种数据包处理装置，包括：镜像单元，用于在数据中心启用预先设置的分光器，控制所述分光器对经过所述数据中心的数据流量进行镜像处理，获得镜像流量；获取单元，用于获取所述数据中心的运行日志，所述运行日志记录所述数据中心被攻击的攻击信息；设置单元，用于基于所述运行日志中的攻击信息，设置所述镜像流量的存储模式；存储单元，用于从所述镜像流量中筛选出符合所述存储模式的多个目标数据包，并对各个所述目标数据包进行存储；展示下载单元，用于将已存储的所述目标数据包经过预设的对象存储api发送至预设的展示下载模块，控制所述展示下载模块按照预设的展示规则展示各个所述目标数据包。12.上述的在装置，可选的，所述镜像单元，包括：设置子单元，用于设置所述分光器的分光比例；镜像子单元，用于基于所述分光比例调整所述分光器，控制所述分光器分出所述分光比例对应的光信号。13.上述的在装置，可选的，所述设置单元，包括：获取子单元，用于获取所述运行日志的攻击信息中包含的所述数据中心遭受到攻击的各个攻击时间点；第一确定子单元，用于确定各个所述攻击时间点的连续性，并基于各个所述攻击时间点的连续性确定所述数据中心遭受到攻击的攻击类型；第一设置子单元，用于当所述攻击类型为连续攻击时，设置所述镜像流量的存储模式为全量存储模式，所述全量存储模式表征将所述镜像流量的所有数据包进行存储；第二设置子单元，用于当所述攻击类型为非连续攻击时，设置所述镜像流量的存储模式为采样存储模式，所述采样存储模式表征按照预设的选取规则筛选数据包进行存储。14.上述的在装置，可选的，所述存储单元，包括：第二确定子单元，用于当所述存储模式为采样存储模式时，基于各个所述攻击时间点，确定是否存在多个连续的攻击时间点之间的时间间隔小于预设时间间隔；第一筛选子单元，用于当存在多个连续的攻击时间点之间的时间间隔小于预设时间间隔时，基于预先设置的采样时间间隔和采样个数，从所述镜像流量中筛选出多个目标数据包；第二筛选子单元，用于当不存在多个连续的攻击时间点之间的时间间隔小于预设时间间隔时，基于预先设置的采样比和采样间隔，从所述镜像流量中筛选出多个目标数据包。15.上述的装置，可选的，还包括：丢弃单元，用于丢弃所述镜像流量中未被选中的数据包。16.一种存储介质，所述存储介质包括存储的指令，其中，在所述指令运行时控制所述存储介质所在的设备执行上述的数据包处理方法。17.一种电子设备，包括存储器，以及一个或者一个以上的指令，其中一个或者一个以上指令存储于存储器中，且经配置以由一个或者一个以上处理器执行上述的数据包处理方法。18.与现有技术相比，本发明包括以下优点：本发明提供了一种数据包处理方法，包括：在数据中心启用预先设置的分光器，控制所述分光器对经过所述数据中心的数据流量进行镜像处理，获得镜像流量；获取所述数据中心的运行日志，所述运行日志记录所述数据中心被攻击的攻击信息；基于所述运行日志中的攻击信息，设置所述镜像流量的存储模式；从所述镜像流量中筛选出符合所述存储模式的多个目标数据包，并对各个所述目标数据包进行存储；将已存储的所述目标数据包经过预设的对象存储api发送至预设的展示下载模块，控制所述展示下载模块按照预设的展示规则展示各个所述目标数据包。应用本发明提供的方法，可以筛选部分数据包进行存储，便于中长期存储数据包文件，方便安全人员对安全事件进行复盘和分析。附图说明19.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。20.图1为本发明实施例提供的一种数据包处理方法的方法流程图；图2为本发明实施例提供的一种数据包处理方法的又一方法流程图；图3为本发明实施例提供的一种数据包处理装置的装置结构图；图4为本发明实施例提供的一种电子设备结构示意图。具体实施方式21.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。22.在本技术中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。23.本发明可用于众多通用或专用的计算装置环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器装置、包括以上任何装置或设备的分布式计算环境等等。24.本发明实施例提供了一种数据包处理方法，该方法可以应用在多种系统平台，其执行主体可以为计算机终端或各种移动设备的处理器，所述方法的方法流程图如图1所示，具体包括：s101：在数据中心启用预先设置的分光器，控制分光器对经过数据中心的数据流量进行镜像处理，获得镜像流量。25.需要说明的是，数据中心可以是机房。分光器是具有多个输入端和多个输出端的光纤汇接器件，常用于光信号的耦合、分支和分配。在本发明中，分光器用于分出数据中心中的光信号，该光信号为经过数据中心的数据流量的镜像流量。26.进一步地，控制分光器对经过数据中心的数据流量进行镜像处理，获得镜像流量的过程，具体可以包括：设置所述分光器的分光比例；基于所述分光比例调整所述分光器，控制所述分光器分出所述数据中心中所述分光比例对应的光信号，通过所述光信号获得所述数据中心的数据流量对应的镜像流量。27.在本发明中，可以根据机房配置或者设备性能设置分光比例，也可以由技术人员根据技术经验进行设置。28.例如：设置分光比例为30%，则分光器可以按照该分光比例分出数据中心的30%光信号，这部分光信号为数据中心的数据流量的镜像。29.s102：获取数据中心的运行日志。30.其中，运行日志中记录了数据中心被攻击的攻击信息。31.在本发明中，数据中心的运行日志记录数据中心在各个时刻的运行状态，其中包含数据中心被非法攻击的攻击信息。32.s103：基于运行日志中的攻击信息，设置镜像流量的存储模式。33.其中，存储模式包括采样存储和全量存储，采样存储指的是按照设定的规则存储部分数据包，全量存储指的是在规定的时间范围内存储所有的数据包。34.s104：从镜像流量中筛选出符合存储模式的多个目标数据包，并对各个目标数据包进行存储。35.需要说明的是，目标数据包可以是二进制流数据包。36.可以理解的是，按照不同的存储模式，从镜像流量中筛选出该存储模式所规定的多个目标数据包。37.进一步地，在镜像流量中筛选出目标数据包后，未被选中的数据包可以不用存储，即，丢弃镜像流量中未被选中的数据包。38.s105：将已存储的目标数据包经过预设的对象存储api发送至预设的展示下载模块，控制展示下载模块按照预设的展示规则展示各个目标数据包。39.其中，展示规则可以是将目标数据包按照攻击类型或者数据包的产生时间等信息进行分类展示。40.在本发明中，使用对象存储api上传数据包至对象存储及从对象存储下载数据包，用于展示及下载。展示和下载模块通过对象存储api可以列出数据包文件及下载。安全人员可以通过展示下载模块查看、下载数据包用于复盘和分析。41.本发明实施例提供的方法中，在数据中心中设置分光器，并在数据中心启用该分光器，当数据中心经过数据流量时，分光器对数据中心的数据流量进行镜像处理，获得镜像流量，并根据数据中心的运行日志中的攻击信息，设置镜像流量的存储模式，并按照该存储模式筛选多个目标数据包，对筛选出来的目标数据包进行存储，并通过对象存储api上发至展示下载模块，展示下载模块按照展示规则展示各个目标数据包。安全人员可以对展示的数据包进行查看、下载、复盘或分析等服务。42.应用本发明实施例提供的方法，可以筛选部分数据包进行存储，便于中长期存储数据包文件，方便安全人员对安全事件进行复盘和分析。43.本发明实施例提供的方法中，所述基于所述运行日志中的攻击信息，设置所述镜像流量的存储模式的过程如图2所示，具体可以包括：s201：获取运行日志的攻击信息中包含的数据中心遭受到攻击的各个攻击时间点。44.在本发明中，记录数据中心在各个时刻的运行状态，其中包含数据中心被非法攻击的攻击信息以及异常运行、正常运行等状态数据。45.s202：确定各个攻击时间点的连续性，并基于各个攻击时间点的连续性确定数据中心遭受到攻击的攻击类型。46.需要说明的是，攻击类型包括连续攻击和非连续攻击。连续攻击指的是数据中心在某一时间段内连续遭受到攻击。非连续攻击指的是数据中心每间隔一段时间就会遭受到至少一次攻击，或者偶发性地突然遭受到攻击。47.s203：当攻击类型为连续攻击时，设置镜像流量的存储模式为全量存储模式。48.其中，全量存储模式表征将所述镜像流量的所有数据包进行存储。49.s204：当攻击类型为非连续攻击时，设置镜像流量的存储模式为采样存储模式。50.其中，采样存储模式表征按照预设的选取规则筛选数据包进行存储。该选取规则可以是根据设定的时间间隔或者数量、比例等规则对镜像流量中的部分数据包进行采样。51.具体的，从所述镜像流量中筛选出符合存储模式的多个目标数据包的过程具体可以包括：当所述存储模式为采样存储模式时，基于各个所述攻击时间点，确定是否存在多个连续的攻击时间点之间的时间间隔小于预设时间间隔；当存在多个连续的攻击时间点之间的时间间隔小于预设时间间隔时，基于预先设置的采样时间间隔和采样个数，从所述镜像流量中筛选出多个目标数据包；当不存在多个连续的攻击时间点之间的时间间隔小于预设时间间隔时，基于预先设置的采样比和采样间隔，从所述镜像流量中筛选出多个目标数据包。52.本发明实施例提供的方法中，当存储模式为全量存储模式时，需要将镜像流量中所有的数据进行存储，或者，将连续遭受到攻击的时间段内所有的数据包作为目标数据包进行存储。当存储模式为采样存储模式时，其对应的存取规则包括按照预设的采样时间间隔个采样个数进行采样，以及按照预设的采样比和采样间隔进行采样。其中，采样时间可以根据攻击时间点之间的时间间隔进行设置，采样个数可以根据在预设时间间隔内遭受到多次攻击的攻击次数进行设置。采样比例和采样间隔可以根据被攻击次数和总的数据包数量进行设置。例如：预设时间间隔为10s，若数据中心遭受到多次非法攻击，且多次非法攻击中有两次攻击的攻击时间点之间的时间间隔为5s，则采样时间间隔可以为5s，采样个数可以为2个，即，每5s从镜像流量中筛选出2个数据包为目标数据包进行存储；若数据中心遭受到多次非法攻击且多次非法攻击之间的时间间隔均不小于10s，则采样比可以为1:5，采样间隔为可以为10，按照该采样比和采样间隔，从镜像流量中每间隔10个数据包就采集2个数据包为目标数据包进行存储。53.需要说明的是，在镜像流量中筛选出目标数据包后，未被选中的数据包可以不用存储，即，丢弃镜像流量中未被选中的数据包。54.基于上述实施例提供的方法，本发明还实现一种基于分光器的数据包采样存储及展示系统，系统分为三个模块，分别为数据包采样模块、存储模块、展示及下载模块，该系统具体的实现过程可以为：采样模块接受来自分光器的30%光信号，通过光信号可以获取机房的全部流量。采样模块基于libpcap（捕获网络数据包）的调用接口实现二进制包的采样存储或全量存储，采样存储模式支持采样形式设定，可以按指定时间间隔、采样比均匀采样；指定时间间隔及数据包个数连续采样。采样获得二进制流数据包进入存储模块通过对象存储的api以对象的形式存储到对象存储中。展示和下载模块通过对象存储api可以列出数据包文件及下载。安全人员可以通过展示及下载模块查看、下载数据包用于复盘和分析。55.上述各个实施例的具体实施过程及其衍生方式，均在本发明的保护范围之内。56.与图1所述的方法相对应，本发明实施例还提供了一种数据包处理装置，用于对图1中方法的具体实现，本发明实施例提供的数据包处理装置可以应用计算机终端或各种移动设备中，其结构示意图如图3所示，具体包括：镜像单元301，用于在数据中心启用预先设置的分光器，控制所述分光器对经过所述数据中心的数据流量进行镜像处理，获得镜像流量；获取单元302，用于获取所述数据中心的运行日志，所述运行日志记录所述数据中心被攻击的攻击信息；设置单元303，用于基于所述运行日志中的攻击信息，设置所述镜像流量的存储模式；存储单元304，用于从所述镜像流量中筛选出符合所述存储模式的多个目标数据包，并对各个所述目标数据包进行存储；展示下载单元305，用于将已存储的所述目标数据包经过预设的对象存储api发送至预设的展示下载模块，控制所述展示下载模块按照预设的展示规则展示各个所述目标数据包。57.本发明实施例提供的装置中，在数据中心中设置分光器，并在数据中心启用该分光器，当数据中心经过数据流量时，分光器对数据中心的数据流量进行镜像处理，获得镜像流量，并根据数据中心的运行日志中的攻击信息，设置镜像流量的存储模式，并按照该存储模式筛选多个目标数据包，对筛选出来的目标数据包进行存储，并通过对象存储api上发至展示下载模块，展示下载模块按照展示规则展示各个目标数据包。安全人员可以对展示的数据包进行查看、下载、复盘或分析等服务。58.应用本发明实施例提供的装置，可以筛选部分数据包进行存储，便于中长期存储数据包文件，方便安全人员对安全事件进行复盘和分析。59.本发明实施例提供的装置中，所述镜像单元301，包括：设置子单元，用于设置所述分光器的分光比例；镜像子单元，用于基于所述分光比例调整所述分光器，控制所述分光器分出所述分光比例对应的光信号。60.本发明实施例提供的装置中，所述设置单元303，包括：获取子单元，用于获取所述运行日志的攻击信息中包含的所述数据中心遭受到攻击的各个攻击时间点；第一确定子单元，用于确定各个所述攻击时间点的连续性，并基于各个所述攻击时间点的连续性确定所述数据中心遭受到攻击的攻击类型；第一设置子单元，用于当所述攻击类型为连续攻击时，设置所述镜像流量的存储模式为全量存储模式，所述全量存储模式表征将所述镜像流量的所有数据包进行存储；第二设置子单元，用于当所述攻击类型为非连续攻击时，设置所述镜像流量的存储模式为采样存储模式，所述采样存储模式表征按照预设的选取规则筛选数据包进行存储。61.本发明实施例提供的装置中，所述存储单元304，包括：第二确定子单元，用于当所述存储模式为采样存储模式时，基于各个所述攻击时间点，确定是否存在多个连续的攻击时间点之间的时间间隔小于预设时间间隔；第一筛选子单元，用于当存在多个连续的攻击时间点之间的时间间隔小于预设时间间隔时，基于预先设置的采样时间间隔和采样个数，从所述镜像流量中筛选出多个目标数据包；第二筛选子单元，用于当不存在多个连续的攻击时间点之间的时间间隔小于预设时间间隔时，基于预先设置的采样比和采样间隔，从所述镜像流量中筛选出多个目标数据包。62.本发明实施例提供的装置中，还包括：丢弃单元，用于丢弃所述镜像流量中未被选中的数据包。63.以上本发明实施例公开的数据包处理装置中各个单元及子单元的具体工作过程，可参见本发明上述实施例公开的数据包处理方法中的对应内容，这里不再进行赘述。64.本发明实施例还提供了一种存储介质，所述存储介质包括存储的指令，其中，在所述指令运行时控制所述存储介质所在的设备执行上述数据包处理方法。65.本发明实施例还提供了一种电子设备，其结构示意图如图4所示，具体包括存储器401，以及一个或者一个以上的指令402，其中一个或者一个以上指令402存储于存储器401中，且经配置以由一个或者一个以上处理器403执行所述一个或者一个以上指令402进行以下操作：在数据中心启用预先设置的分光器，控制所述分光器对经过所述数据中心的数据流量进行镜像处理，获得镜像流量；获取所述数据中心的运行日志，所述运行日志记录所述数据中心被攻击的攻击信息；基于所述运行日志中的攻击信息，设置所述镜像流量的存储模式；从所述镜像流量中筛选出符合所述存储模式的多个目标数据包，并对各个所述目标数据包进行存储；将已存储的所述目标数据包经过预设的对象存储api发送至预设的展示下载模块，控制所述展示下载模块按照预设的展示规则展示各个所述目标数据包。66.本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。67.专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现。68.为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。69.对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!