(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202211198552.9 (22)申请日 2022.09.29 (65)同一申请的已公布的文献号 申请公布号 CN 115272943 A (43)申请公布日 2022.11.01 (73)专利权人 南通双和食品有限公司 地址 226000 江苏省南 通市通州区兴仁镇 阚庵东村 (72)发明人 何灿华　 (51)Int.Cl. G06V 20/40(2022.01) G06V 10/40(2022.01) G06V 10/62(2022.01) G06V 10/82(2022.01) G06T 7/246(2017.01)G06T 7/269(2017.01) G06T 7/73(2017.01) 审查员 朱雪梅 (54)发明名称 一种基于数据处理的畜牧家禽进食异常识 别方法 (57)摘要 本发明涉及数据处理技术领域， 具体涉及一 种基于数据处理的畜牧家禽进食异常识别方法。 该方法结合相关的电子设备进行图像识别得到 各时刻对应的第一进食图像和第二进食图像； 根 据各时刻对应的第一进食图像和第二进食图像， 得到复杂程度和各时刻目标对象对应的重要程 度； 根据各时刻下目标对象的重要程度、 复杂程 度和训练好的进食状态识别网络， 得到目标时间 内目标对象的进食状态。 本发明提供了一种结合 电子设备进行图形识别的畜牧家禽进食异常识 别的方法， 并进行相关的数据处理， 实现了对家 禽进食情况的实时判断。 权利要求书3页 说明书12页 附图1页 CN 115272943 B 2022.12.23 CN 115272943 B 1.一种基于数据处理的畜牧家禽进食异常识别方法， 其特征在于， 该方法包括以下步 骤： 获取目标对象在目标时间段内的待分析视频片段； 所述待分析视频片段包括第 一视频 片段和第二视频片段， 第一视频片段和第二视频片是在不同视角下拍摄的视频， 第一视频 片段包括各时刻对应的第一进食图像， 第二视频片段包括各时刻对应的第二进食图像； 根 据各时刻对应的第一进食图像中目标对 象的各关键点的坐标和各时刻对应的第二进食图 像中目标对象的各关键点的坐标， 得到各时刻下目标对象的各关键点对应的位置向量； 根据各时刻对应的第一进食图像和第二进食图像， 得到各时刻对应的各方向的光流 图； 根据各时刻对应的各 方向的光 流图， 得到各时刻下目标对象的重要程度， 包括： 对于任一 时刻： 利用光流算法对该时刻对应的第 一进食图像和上一 时刻对应的第 一进 食图像进 行处理， 得到该时刻 对应的光流图， 记 为第一光流图； 利用光流算法对 该时刻对应 的第二进食图像和上一时刻的对应第二进食图像进行处理， 得到该时刻对应的光流图， 记 为第二光流图； 分别将该时刻对应的第一光流图和第二光流图进行拆分， 得到该时刻对应 的各方向的光流图； 所述各方向包括第一进食图像的水平方向和竖直方向和 第二进食图像 的水平方向和竖直方向； 提取该时刻对应的各方向的光流图中的连通域； 分别选取各光流 图中面积最大 的连通域， 记为 目标连通域； 根据该时刻对应的各光流图中目标连通域的最 小外接矩形 的长和宽， 计算该时刻对应的各光流图对应的动作幅度指标； 根据该时刻对应 的各光流图对应的动作幅度指标， 计算该时刻下目标对象的重要程度； 所述计算该时刻对应的各光 流图对应的动作幅度指标的公式如下： 其中， 为第t个时刻对应的x轴方向上的光流图对应的动作幅度指标， 为x轴方向上 的光流图对应的目标连通域的长， 为x轴方向上的光流图对应的目标连通域的宽， 为 第i个光流图对应的目标连通域内像素点的总数量， 为第i个光流图对应的目标连通域内 第a个像素点的灰度值， 为最大值； 根据各时刻下目标对象的重要程度， 得到所述待分析视频片段对应的复杂程度； 根据各时刻下目标对象的各关键点对应的位置向量， 构建待分析视频片段对应的关键 点时空共现图； 所述关键点时空共现图中每个节点对应一个时刻下目标对象的一个关键 点； 根据关键点时空共现图、 所述各时刻下目标对象 的重要程度、 所述待分析视频片段对应 的复杂程度和训练好的进食状态 识别网络， 得到目标时间段内目标对象的进食状态。 2.根据权利要求1所述的一种基于数据处理的畜牧家禽进食异常识别方法， 其特征在 于， 所述根据各时刻 对应的第一进食图像中目标对象的各关键点的坐标和各时刻 对应的第 二进食图像中目标对象的各关键点的坐标， 得到各时刻下目标对象的各关键点对应的位置 向量， 包括： 所述第一进食图像中目标对象的各关键点是将第一进食图像输入到训练好的鸡身关 键点检测网络中得到的； 所述二进食图像中目标对象的各关键点是将第二进食图像输入到权　利　要　求　书 1/3 页 2 CN 115272943 B 2训练好的鸡身关键点检测网络中得到的； 对于任一时刻下目标对象的任一关键点对应的位置向量： 根据该关键点在该时刻对应的第一进食图像中的坐标和在该时刻对应的第二进食图 像中的坐标， 得到该时刻下目标对象的该关键点对应的位置向量。 3.根据权利要求1所述的一种基于数据处理的畜牧家禽进食异常识别方法， 其特征在 于， 所述计算该时刻下目标对象的重要程度的公式如下： 其中， 为第t个时刻下目标对象的重要程度， 为第t个时刻对应的y轴方向上的光流 图对应的动作幅度指标， 为第t个时刻对应的q轴方向上的光流图对应的动作幅度指标， 为第t个时刻对应的z轴方向上的光流图对应的动作幅度指标， 为第一关注权重， 为 第二关注权 重， 为第三关注权 重， 为第四关注权 重。 4.根据权利要求1所述的一种基于数据处理的畜牧家禽进食异常识别方法， 其特征在 于， 根据各时刻下目标对 象的重要程度， 得到所述待分析视频片段对应的复杂程度的公式 如下： 其中， 为待分析视频片段的复杂程度， 为目标时间段内各时刻下目标对象对应的重 要程度的均值， 为目标时间段内各时刻的数量， 为目标时间段内各时刻下目标对象对应 的重要程度的集 合， 为最大值， 为第t个时刻下目标对象的重要程度。 5.根据权利要求1所述的一种基于数据处理的畜牧家禽进食异常识别方法， 其特征在 于， 根据各时刻下目标对 象的各关键点对应的位置 向量， 构建待分析视频片段对应的关键 点时空共现图， 包括： 以各时刻下目标对象的各关键点为关键点 时空共现图的各节点， 所述各节点的值为对 应关键点对应的位置向量； 使同一时刻下目标对象的各关键点对应的节点进行相连， 构成对应时刻下的鸡身形 态； 将各时刻下目标对 象的相同的关键点对应的节点按照时间顺序相连， 得到待分析视频 片段对应的关键点时空共现图。 6.根据权利要求1所述的一种基于数据处理的畜牧家禽进食异常识别方法， 其特征在 于， 根据关键点时空共现图、 所述各时刻下目标对象 的重要程度、 所述待分析述视频片段对 应的复杂程度和训练好的进食状态识别网络， 得到目标时间段内目标对 象的进食状态， 包 括： 所述进食状态识别网络包括图注意力网络和多层感知器； 所述图注意力网络基于多头 注意力机制来对输入的数据进行处 理； 对于任一层注意力 机制： 根据关键点 时空共现图中各节点对应的位置向量和各时刻下 目标对象对应的重要程度， 计算各节点与对应的邻域节点集合中的各节点之间的权重； 根权　利　要　求　书 2/3 页 3 CN 115272943 B 3