(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211274119.9 (22)申请日 2022.10.18 (71)申请人 西北农林科技大 学 地址 712100 陕西省咸阳市杨陵区西北农 林科技大 学北校区东区5号楼 (72)发明人 龚靖为　耿楠　耿耀君　李梅　 肖智文　段宇飞　 (74)专利代理 机构 北京箐昱专利代理事务所 (普通合伙) 1610 5 专利代理师 刘烨姗 (51)Int.Cl. G06F 40/295(2020.01) G06F 40/211(2020.01) G06F 40/216(2020.01) G06F 40/30(2020.01)G06N 3/04(2006.01) (54)发明名称 基于注意力机制的苹果病虫害命名实体识 别方法 (57)摘要 本发明公开了基于注意力机制的苹果病虫 害命名实体识别方法， 属于基因检测技术领域， 基于注意力机制的苹果病虫害命名实体识别方 法， 本发明在得到苹果病虫害数据集之后， 首先 通过BERT预训练模型获取数据集中的字符向量； 接下来以字符向量为输入， 通过BI ‑LSTM模型提 取上下文特征得到特征序列； 然后通过注意力层 处理BI‑LSTM层输出的特征序列， 得到当前词与 序列中其他词的权重， 获取全局特征表示； 最后 将加入注 意力机制的特征序列送入CRF中进行标 签预测， 得到最合理的标签序列， 完成苹果病虫 害命名实体识别， 可以实现基于注 意力机制的苹 果病虫害命名实体识别模型， 使模 型在苹果病虫 害命名实体识别数据集中取得更好的评估指标。 权利要求书1页 说明书7页 附图2页 CN 115526175 A 2022.12.27 CN 115526175 A 1.基于注意力机制的苹果病虫害命名实体识别方法， 其特 征在于： 包括如下步骤： S1、 采用一种联合使用BERT生成嵌入字符向量、 BI ‑LSTM序列建模、 自注意力机制和条 件随机场的中文命名实体识别模型； S2、 首先利用BERT生成嵌入字符向量作为模型的词嵌入工具为模型下游提供高质量的 字向量； S3、 接着通过BI ‑LSTM序列建模作 为模型的特征提取部分， 在字向量的基础上进行特征 提取； S4、 自注意力机制通过为字向量赋予不同的权重， 使模型有重点地进行学习， 获取全局 上下文特征， 忽略对目标词影响较小的信息， 从而提高模型的训练效果； S5、 条件随机场为模型中的序列标注 做出句法限制， 从而得到一个最优的序列标注。 2.根据权利要求1所述的基于注意力机制的苹果病虫害命名实体识别方法， 其特征在 于： 所述S2步骤作为词嵌入工具生成字向量作用于后续模型， 所述S2步骤 还包括以下步骤： S21、 BERT模型的输入； S22、 BERT模型的输出。 3.根据权利要求1所述的基于注意力机制的苹果病虫害命名实体识别方法， 其特征在 于： 所述S3步骤 采用BI‑LSTM神经网络进行苹果病虫害实体特 征提取。 4.根据权利要求1所述的基于注意力机制的苹果病虫害命名实体识别方法， 其特征在 于： 所述S4 步骤使用自注意力机制模型加强序列全局特 征， 改善BI ‑LSTM序列建模的效果。 5.根据权利要求1所述的基于注意力机制的苹果病虫害命名实体识别方法， 其特征在 于： 所述S5步骤的中文命名实体识别模型可同步解码输入序列的信息以及标签之间的关 系。权　利　要　求　书 1/1 页 2 CN 115526175 A 2基于注意力机制的苹果病虫害 命名实体识别方 法 技术领域 [0001]本发明涉及基因检测技术领域， 更具体地说， 涉及基于注意力机制的苹果病虫害 命名实体识别方法。 背景技术 [0002]在我国苹果种植业的悠久历史中， 病虫害问题一直以来都被视作限制苹果产业发 展的最常见因素， 因此， 从专业文本资料之中抽取有效信息帮助果农对病 虫害进行防治具 有极大的现实意义， 通过知识图谱， 不仅可以将互联网的信息表达成更接近人类认知世界 的形式， 而且提供了一种更好的组织、 管理和利用海量信息的方式， 命名实体识别是构建知 识图谱信息抽取中最为基础和关键的部 分， 为后续构建知识图谱、 智能问答、 智能推荐等提 供了支撑， 深度神经网络的发展推动了实体识别的研究， 人们已经在多个领域进行了实体 识别的探索， 大量优秀成果涌现出来， 为本课题提供了广阔的理论基础， 但是， 中文的命名 实体识别与英文的命名实体识别相比， 挑战更大， 目前未解决 的难题更多， 针对苹 果病虫害 领域的实体识别研究相对较少， 且苹 果病虫害实体种类和数量巨多， 文本特点不一样， 因此 关于苹果领域的病虫害实体识别问题亟 待解决。 [0003]本发明拟通过收集苹果病虫害相关文献与资料， 调整苹果病虫害防治命名实体识 别数据集， 针对苹果病 虫害防治实体特点， 在此数据集上使用深度学习方法对数据集中的 命名实体进行识别， 并计划通过注意力机制模型进行改进。 发明内容 [0004]1.要解决的技 术问题 [0005]针对现有技术中存在的问题， 本发明的目的在于提供基于注意力机制的苹果病虫 害命名实体识别方法， 可以实现基于注意力机制的苹果病 虫害命名实体识别模型， 使模型 在苹果病虫害命名实体识别数据集中取得更好的评估指标， 改进调整苹 果病虫害 领域实体 集， 采用基于注意力机制的双向长短期记 忆模型实现对苹果病虫害实体的识别。 [0006]2.技术方案 [0007]为解决上述问题， 本发明采用如下的技 术方案。 [0008]基于注意力机制的苹果病虫害命名实体识别方法， 包括如下步骤： [0009]S1、 采用一种联合使用BERT生成嵌入字符向量、 BI ‑LSTM序列建模、 自注意力机制 和条件随机场的中文命名实体识别模型； [0010]S2、 首先利用B ERT生成嵌入字符向量作为模型的词嵌入工具为模型下游提供高质 量的字向量； [0011]S3、 接着通过BI‑LSTM序列建模作为模型的特征提取部分， 在 字向量的基础上进行 特征提取； [0012]S4、 自注意力机制通过为字向量赋予不同的权重， 使模型有重点地进行学习， 获取 全局上下文特征， 忽略对目标词影响较小的信息， 从而提高模型的训练效果；说　明　书 1/7 页 3 CN 115526175 A 3