(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210536634.3 (22)申请日 2022.05.17 (71)申请人 南方海洋科学与工程广东省实验室 （湛江） 地址 524006 广东省湛江市霞山区文体路 一号 (72)发明人 郑凯健　杨仁友　李日富　秦浩　 杨靓　严俊　 (74)专利代理 机构 深圳市世纪恒程知识产权代 理事务所 4 4287 专利代理师 吴士卿 (51)Int.Cl. G06V 20/05(2022.01) G06V 10/26(2022.01) G06V 10/40(2022.01)G06V 10/80(2022.01) G06T 7/269(2017.01) (54)发明名称 鱼群摄食行为的识别方法、 装置、 设备与介 质 (57)摘要 本发明涉及水产养殖信息技术领域， 公开了 一种鱼群摄食行为的识别方法、 装置、 设备和介 质。 本发明通过获取鱼群摄食行为的时序图像 集， 并分别采用预设增强算法、 预设光流法以及 预设高斯密度模型对时序图像集进行图像预处 理， 得到对应的空间图像、 光流图像以及密度图 像； 根据空间图像、 光流图像以及密度图像和预 设注意力机制模 型， 提取出各个空间图像对应的 第一特征、 各个光流图像对应的第二特征以及各 个密度图像对应的第三特征； 根据第一特征、 第 二特征以及第三特征， 通过预设注 意力机制模型 对第一特征、 第二特征以及第三特征进行特征融 合， 确定对应的融合特征； 根据融合特征， 识别出 鱼群的摄食行为； 从而实现精准投喂控制。 权利要求书3页 说明书17页 附图9页 CN 115147706 A 2022.10.04 CN 115147706 A 1.一种鱼群摄食行为的识别方法， 其特征在于， 所述鱼群摄食行为的识别方法包括如 下步骤： 获取鱼群摄食行为的时序图像集， 并分别采用预设增强算法、 预设光流法 以及预设高 斯密度模型对所述时序图像集进行 预处理， 得到对应的空间图像、 光 流图像以及 密度图像； 基于所述空间图像、 所述光流图像以及所述密度图像和预设注意力机制模型， 提取出 各个空间图像对应的第一特征、 各个光流图像对应的第二特征以及各个密度图像对应的第 三特征； 基于所述第一特征、 所述第二特征以及所述第三特征， 通过所述预设注意力机制模型 进行特征融合， 确定对应的融合特 征； 基于所述融合特 征， 对鱼群进行摄食行为识别。 2.如权利要求1所述的鱼群摄食行为的识别方法， 其特征在于， 所述预设注意力 机制模 型包括卷积转置模块， 或注意力模块， 或卷积转置模块与注意力模块的组合。 3.如权利要求1所述的鱼群摄食行为的识别方法， 其特征在于， 所述基于所述空间图 像、 所述光流图像以及所述密度图像和预设特征提取模型， 提取出各个空间图像对应的第 一特征、 各个光 流图像对应的第二特 征以及各个密度图像对应的第三特 征的步骤 包括： 根据所述空间图像、 所述光流图像以及所述密度图像， 通过所述预设注意力机制模型 对各个空间图像、 各个光流图像以及各个密度图像进行卷积和池化处理， 得到处理后的空 间图像、 处 理后的光 流图像以及处 理后的密度图像； 将所述处理后的空间图像、 所述处理后的光流图像以及所述处理后的密度图像进行预 设次数的残差求和处理， 得到各个空间图像对应的第一特征、 各个光流图像对应的第二特 征以及各个密度图像对应的第三特 征。 4.如权利要求2中的所述的鱼群摄食行为的识别方法， 其特征在于， 所述基于所述第 一 特征、 所述第二特征以及所述第三特征， 通过所述预设注意力机制模 型进行特征融合， 确定 对应的融合特 征的步骤 包括： 根据所述第一特征、 所述第二特征以及所述第三特征， 通过所述预设注意力机制模型 进行单张图像内部特征融合， 得到所述第一特征对应的第一内部特征、 所述第二特征对应 的第二内部特 征以及所述第三特 征对应的第三内部特 征； 根据所述第一内部特征、 所述第二内部特征以及所述第三内部特征， 通过所述预设注 意力机制模型进行多张图像之间特征融合， 得到所述第一内部特征对应的第一关联特征、 所述第二内部特 征对应的第二关联 特征以及所述第三内部特 征对应的第三关联 特征； 根据所述第一关联特征、 所述第二关联特征以及所述第三关联特征， 通过所述预设注 意力机制模型进行不同域特 征之间特 征融合特 征聚类， 得到对应的融合特 征。 5.如权利要求4所述的鱼群摄食行为的识别方法， 其特征在于， 所述预设注意力 机制模 型包括卷积转置模块和注意力模块， 所述根据所述第一特征、 所述第二特征以及所述第三 特征， 通过所述预设注意力机制模型进行单张图像内部特征融合， 得到所述第一特征对应 的第一内部特征、 所述第二特征对应的第二内部特征以及所述第三特征对应的第三内部特 征的步骤 包括： 通过所述卷积转置模块对所述第 一特征、 所述第 二特征以及所述第 三特征进行卷积运 算， 并将卷积后的结果与所述第一特征、 所述第二特征以及所述第三特征进行特征矩阵转权　利　要　求　书 1/3 页 2 CN 115147706 A 2置相乘， 得到所述第一特征对应的第一卷积特征、 所述第二特征对应的第二卷积特征以及 所述第三特 征对应的第三卷积特 征； 通过所述注意力模块对所述第 一卷积特征、 所述第 二卷积特征以及所述第 三卷积特征 进行预设个数 的卷积运算， 并将卷积后的结果进行特征矩阵相乘， 得到所述第一卷积特征 对应的第一乘积特征、 所述第二卷积特征对应的第二乘积特征以及所述第三卷积对应的第 三乘积特 征； 将所述第一乘积特征、 第一乘积特征以及第一乘积特征与所述第一卷积特征、 所述第 二卷积特征以及所述第三卷积特征分别进行特征求和， 得到对应的第一内部特征、 第二内 部特征以及第三内部特 征。 6.如权利要求4所述的鱼群摄食行为的识别方法， 其特征在于， 所述预设注意力 机制模 型包括注意力模块， 所述根据所述第一内部特征、 所述第二内部特征以及所述第三内部特 征， 通过所述预设注意力机制模型进行多张图像之间特征融合， 得到所述第一内部特征对 应的第一关联特征、 所述第二内部特征对应的第二关联特征以及所述第三内部特征对应的 第三关联 特征的步骤 包括： 对所述第一内部特征、 所述第 二内部特征以及所述第 三内部特征分别进行特征整合处 理， 得到所述第一内部特征对应的第一整合特征、 所述第二内部特征对应的第二整合特征 以及所述第三内部特 征对应的第三整合特 征； 对所述第一整合特征、 所述第二整合特征以及所述第三整合特征进行残差运算， 得到 所述第一整合特征对应的第一和特征、 所述第二整合特征对应的第二和特征以及所述第三 整合特征对应的第三和特 征； 对所述第一和特征、 所述第二和特征以及所述第三和特征进行池化运算， 得到对应的 池化后的第一和特 征、 池化后的第二和特 征以及池化后的第三和特 征； 通过所述注意力模块对所述池化后的第 一和特征、 所述池化后的第 二和特征以及所述 池化后的第三和特征进行预设个数的卷积运算， 并将卷积后的结果与所述池化后的第一和 特征、 所述池化后的第二和特征以及所述池化后的第三和特征分别进 行特征矩阵相乘后求 和， 得到对应的第一乘积特 征、 第二乘积特 征以及第三乘积特 征； 将所述第一乘积特征、 所述第二乘积特征以及所述第三乘积特征进行池化运算， 得到 池化后的第一乘积特 征、 池化后的第二乘积特 征以及池化后的第三乘积特 征； 通过所述注意力模块对所述池化后的第 一乘积特征、 所述池化后的第 二乘积特征以及 所述池化后的第三乘积特征进 行预设个数的卷积运算， 并将卷积后的结果与所述池化后的 第一乘积特征、 所述池化后的第二乘积特征以及所述池化后的第三乘积特征分别进行特征 矩阵相乘后求和， 得到对应的第一 意图特征、 第二意图特征以及第三 意图特征； 将所述第一意图特征、 所述第二意图特征以及所述第三意图特征进行池化处理， 得到 对应的第一关联 特征、 第二关联 特征以及第三关联 特征。 7.如权利要求4所述的鱼群摄食行为的识别方法， 其特征在于， 所述预设注意力 机制模 型包括卷积转置模块和注意力模块， 所述根据所述第一关联特征、 所述第二关联特征以及 所述第三关联特征， 通过所述预设注意力机制模型进行不同域特征之间特征融合， 得到对 应的融合特 征的步骤 包括： 将所述第一关联特征、 所述第二关联特征以及所述第三关联特征进行通道拼接， 得到权　利　要　求　书 2/3 页 3 CN 115147706 A 3