(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210329999.9 (22)申请日 2022.03.31 (71)申请人 南京众智维信息科技有限公司 地址 211300 江苏省南京市高淳区龙井路3 号 (72)发明人 孙捷　车洵　胡牧　孙翰墨　 (74)专利代理 机构 南京知识律师事务所 32 207 专利代理师 张苏沛 (51)Int.Cl. G06F 16/332(2019.01) G06F 16/335(2019.01) G06F 40/126(2020.01) G06F 40/279(2020.01) G06F 40/30(2020.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 多级自注意力的网络安全协同处置作战室 语义摘要方法 (57)摘要 本发明公开了一种多级自注意力的网络安 全协同处置作战室语义摘要 方法， 给定一段网络 安全协同处置作 战室聊天记录， 包括步骤： 记录 网络安全协同处置作战室运营过程形成语料库； 将语料库中的文本内容通过词向量矩 阵转换成 标记向量， 拼接标记向量、 语句分段向量和位置 向量形成完整的词向量作为网络结构的输入； 将 输出结果送入变压器的编码器； 把结果输入到变 压器包含注 意力机制的模块中， 实现对文本中重 复冗余内容的排除； 通过变压器模 型中的解码器 生成语义摘要； 根据权重较大的k个关键词输出 文本对应的语义摘要， 形成任务指令； 简化运营 记录， 生成简洁流畅的摘要 任务。 权利要求书3页 说明书8页 附图2页 CN 114490995 A 2022.05.13 CN 114490995 A 1.一种多级自注意力的网络安全协同处置作战室语义摘要方法， 其特征在于， 给定一 段网络安全协同处置作战室聊天记录， 该 段聊天记录的语义摘要提取包括以下步骤： S1： 记录网络安全协同处置作战室运营过程形成语料库， 对语料库中的对话、 聊天记录 文本进行建表、 序列化文本内容、 标记出运营人员的角色、 分析问题的内容、 根据分析安排 的应对任务， 构成网络安全协同处置作战室聊天记录语料库； S2： 将语料库中的文本内容通过词向量矩阵转换成标记向量， 通过对不同的句子做0和 1赋值来区分不同的句子得到语句分段向量， 采用变压器为每个标记向量分配位置向量， 拼 接标记向量、 语句分段向量和位置向量形成完整的词向量作为网络结构的输入； S3： 将S2中的输出 结果送入变压器的编码器； S4： 把S3中变压器的编码器输出的结果输入到变压器包含注意力机制的模块中， 将其 压缩为一个向量表 示， 并结合上下文向量， 提取关键信息， 实现对文本中重复冗余内容的排 除； S5： 语料库中的文本内容被压缩为一个向量以后， 通过变压器模型中的解码器生成语 义摘要； S6： 步骤S5 的输出结果经过softmax层处理， 根据权重较大的k个关键词输出文本对应 的语义摘要， 形成任务指令； S7： 利用网络安全协同处置作战室中聊天记录的语义摘要形成任务指令， 简化运营记 录， 生成简洁流畅的摘要任务。 2.根据权利要求1所述的多级自注意力的网络安全协同处置作战室语义摘要方法， 其 特征在于， 所述S2包括 步骤： 对于输入的文本 是由 个句子组成， ， 其中 表示文本中的第   句 话， 按顺序对文本进行预处理， 使用LTP分词器进行分词， 再去除噪声词、 停用词， 规范化生 成训练语料， 并为每个句子分配一个标签 ， 其中0表示不对句子进行识别， 1表示 对句子进行识别。 3.根据权利要求2所述的多级自注意力的网络安全协同处置作战室语义摘要方法， 其 特征在于， 所述S2还包括步骤： 对处理过的文本经过词向量层由文字符号变成数字序列词 向量， 在首标记[CLS]、 尾标记[S EP]， 并且产生对句子进行区别的语句分段向量和表 示每个 词绝对位置的位置向量， 其中标记向量、 语句分段向量、 位置向量的向量 维度均为z， 则输入 序列的对应的标记向量、 语句分段向量、 位置向量的向量的拼接， 用 表示： 其中， 表示句子中每个词的标记向量， 表示语句分段向量， 对应的奇偶数把句子分 成AB块， 表示位置向量， 对应句子的最大长度， 表示输入文本 由三个向量拼接得 到， 在向量空间的行列维度均是 。 4.根据权利要求3所述的多级自注意力的网络安全协同处置作战室语义摘要方法， 其 特征在于， 所述S3包括步骤： 对于输入的文本 是由把输入序列 ， 首先传入由多个注意力模 块组成的多头注意力块， 多头的头数是超参， 自定义t个头， 输出就是t个 的向量， 然后权　利　要　求　书 1/3 页 2 CN 114490995 A 2用初始化矩阵 和输入序列 相乘， 得到 ， 分别对应查询向量矩阵， 键值向量矩 阵和值向量矩阵。 5.根据权利要求4所述的多级自注意力的网络安全协同处置作战室语义摘要方法， 其 特征在于， 所述S3还包括步骤： 由于是t个注意力头， 即分成 ， 为 了当前时刻的注意力权重， 首先计算当前词和 其它词的关联程度， 用查询向量和其他词的 键值向量计算相似度 ： 对于计算相似度通过查询向量和键值向量的乘积 进行缩小， 除以同一个系数 ， 然 后用softmax函数进行归一 化处理， 得到值 就是当前词与当前词相关的值表示， 表达式为： 用当前词得到的权 重值 来更新当前词的注意力权 重 ： 对其它输入序列循环相同步骤， 得到所有输出。 6.根据权利要求5所述的多级自注意力的网络安全协同处置作战室语义摘要方法， 其 特征在于， 所述S3还 包括步骤： 通过以下公式更新注意力权 重： 然后用多头注意力模块将多个注意力权重输出并且拼接在一起， 再和输入序列 做残 差跳跃输出， 再输入进规范层L N输出新的， 其中是输入序列的注意力权 重， 表达式为： 经过计算， 输出的向量作为全连接层的输入， 同样经过残差跳跃和规范层LN， 并且用叠 加线性层封装 且用 函数激活， 表达式为： 全连接层用输出的向量 作为下一层变压器编码部分的输入， 表达式为： 。 7.根据权利要求3所述的多级自注意力的网络安全协同处置作战室语义摘要方法， 其 特征在于， 所述S4包括 步骤：权　利　要　求　书 2/3 页 3 CN 114490995 A 3