(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210585688.9 (22)申请日 2022.05.27 (71)申请人 中南民族大 学 地址 430000 湖北省武汉市洪山区民族大 道708号、 823号 (72)发明人 田莎莎　谢勇　汪红　帖军　郑禄　 吴立锋　张慧丽　董小杰　 (74)专利代理 机构 深圳市世纪恒程知识产权代 理事务所 4 4287 专利代理师 何秋石 (51)Int.Cl. G06V 40/10(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 行人检测方法、 装置、 设备及存 储介质 (57)摘要 本发明涉及计算机技术领域， 尤其涉及一种 行人检测方法、 装置、 设备及存储介质， 该行人检 测方法包括： 获取待识别图像； 通过预设多层次 细粒度YOLO模型对待识别图像进行行人检测， 并 输出行人检测结果， 预设多层次细粒度YOLO模型 包括多层次细粒度PAFPN结构； 其中， 多层次细粒 度PAFPN结构用于接收主干网络根据待识别图像 输出的特征图对特征图进行特征融合得到融合 特征图， 通过解耦头模块根据融合特征图进行行 人检测。 由于本发明在YOL O模型中加入了多层次 细粒度PAFPN结构， 能够更加充分的提取行人特 征， 改善最终的检测 效果， 解决了现有技术在行 人检测中小目标行人以及遮挡行人的检测效果 不佳的技 术问题。 权利要求书3页 说明书12页 附图7页 CN 115131819 A 2022.09.30 CN 115131819 A 1.一种行 人检测方法， 其特 征在于， 所述行 人检测方法包括： 获取待识别图像； 通过预设多层次细粒度YOLO模型对所述待识别图像进行行人检测， 并输出行人检测结 果， 所述预设多层次细粒度YOLO模型包括多层次细粒度PAFPN结构； 其中， 所述多层次细粒度PAFPN结构， 用于对主干 网络基于所述待识别图像输出的特征 图进行特征融合， 得到融合特 征图， 并将所述融合特 征图输入至解耦头模块进行 行人检测。 2.如权利要求1所述的行人检测方法， 其特征在于， 所述预设多层次细粒度YOLO模型 中， 所述多层次细粒度PAFPN结构设置在所述主干网络与所述解耦头模块之间， 所述多层次 细粒度PAFPN结构包括： ResCoT模块； 所述通过预设多层次细粒度YOLO模型对所述待识别图像进行行人检测， 并输出行人检 测结果， 包括： 通过所述主干网络对所述待识别图像进行 特征提取， 获得 特征图； 通过所述ResCoT模块将所述特征图与所述待识别图像对应的行人上下文信息进行融 合， 并将融合结果进行 特征提取后， 输入至所述 解耦头模块； 通过所述解耦头模块对特 征提取后的融合结果进行 行人检测， 并输出 行人检测结果。 3.如权利要求2所述的行人检测方法， 其特征在于， 所述特征提取后的融合结果包括融 合输出特征， 所述ResCoT模块包括： CoT模块、 特征分量拆分融合模块和输出特征分量融合 模块； 所述CoT模块设置在所述特 征分量拆分融合模块和所述输出 特征分量融合模块之间； 通过所述ResCoT模块将所述特征图与所述待识别图像对应的行人上下文信息进行融 合， 并将融合结果进行 特征提取后， 输入至所述 解耦头模块， 包括： 通过所述特征分量拆分融合模块将所述特征图拆分为多个特征分量， 所述多个特征分 量包含第1～N特 征分量， N 为大于等于2的整数； 通过所述特征分量拆分融合模块对所述多个特征分量进行遍历， 将第 一次遍历到的特 征分量作为第一输出 特征分量输出至所述输出 特征分量融合模块； 通过所述特征分量拆分融合模块将当前遍历到的第N个特征分量分别与前N ‑1个特征 分量对应的输出 特征分量进行融合， 并将分量融合结果输入至所述CoT模块； 通过所述CoT模块接收所述分量融合结果， 对所述分量融合结果进行3 ×3卷积， 获得融 合了行人上下文信息的键值特 征分量； 通过所述CoT模块将所述键值特征分量与预设查询值进行张量拼接， 获得静态上下文 建模； 通过所述CoT模块对所述分量融合结果进行1 ×1卷积， 获得 卷积特征分量； 通过所述CoT模块将所述静态上下文建模进行两次1 ×1卷积后与所述卷积特征分量相 乘， 获得动态上 下文建模； 通过所述CoT模块将所述动态上下文建模与所述静态上下文建模进行融合， 获得所述 分量融合结果对应的输出特征分量， 并将所述分量融合结果对应的输出特征分量输出至所 述输出特征分量融合模块； 通过所述输出特征分量融合模块将所述分量融合结果对应的输出特征分量和所述第 一输出特征分量进行融合， 得到融合输出特征， 将所述融合输出特征输入至所述解耦头模权　利　要　求　书 1/3 页 2 CN 115131819 A 2块。 4.如权利要求3所述的行人检测方法， 其特征在于， 所述特征提取后的融合结果还包括 位置输出特征， 所述ResCoT模块还 包括： 坐标注意力机制模块； 所述通过所述ResCoT模块将所述特征图与所述待识别图像对应的行人上下文信息进 行融合， 当将融合结果进行 特征提取后， 输入至所述 解耦头模块， 还 包括： 通过所述坐标注意力 机制模块接收所述融合输出特征， 对所述融合输出特征分别进行 水平方向平均池化和垂直方向平均池化， 得到 两个1D向量； 通过所述坐标注意力机制模块对所述两个1D向量进行张量拼接， 得到1D拼接向量， 对 所述1D拼接向量进行通道压缩， 得到 压缩后的1D向量； 通过所述坐标注意力机制模块利用批量归一化和非线性处理对所述压缩后的1D向量 在垂直方向和水平方向的空间信息进行编码， 得到编码后的1D拼接向量； 通过所述坐标注意力机制模块分裂所述编码后的1D拼接向量得到两个新的1D向量， 对 所述两个新的1D向量的通道数进行调整， 以使所述两个新的1D向量的通道数保持一 致； 通过所述坐标注意力机制模块对所述通道数一致的所述两个新的1D向量进行归一化 加权， 得到位置 输出特征， 将所述 位置输出特征输入至所述 解耦头模块。 5.如权利 要求2至4任一项所述的行人检测方法， 其特征在于， 所述多层次细 粒度PAFPN 结构还包括： WG‑NAM‑CSPLayer模块； 所述通过预设多层次细粒度YOLO模型对所述待识别图像进行行人检测， 并输出行人检 测结果， 还 包括： 通过所述WG ‑NAM‑CSPLayer模块对所述特征图或所述融合结果进行权重稀疏惩罚， 获 得通道增强特 征图； 通过所述WG‑NAM‑CSPLayer模块将所述 通道增强特 征图输出至解耦头模块。 6.如权利要求5所述的行人检测方法， 其特征在于， 所述WG ‑NAM‑CSPLayer模块包括： WG‑NAM注意力模块、 瓶颈层模块和至少两个BaseCo nv模块； 所述WG‑NAM注意力模块设置在所述 瓶颈层模块的3 ×3卷积层之后； 所述通过所述WG ‑NAM‑CSPLayer模块接收所述特征图或所述融合结果， 对所述特征 图 或所述融合结果进行权 重稀疏惩罚， 获得通道增强特 征图， 包括： 通过其中一个所述BaseConv模块将所述特征图或所述融合结输出至所述瓶颈层模块 进行卷积操作； 通过所述WG ‑NAM注意力模块接收所述瓶颈层中3 ×3卷积层生成的与通道数相同数量 的特征图； 通过所述WG‑NAM注意力模块对所述特 征图进行权 重稀疏惩罚， 获得通道输出 特征图； 通过所述WG ‑NAM注意力模块将所述通道输出特征图输入至第一融合模块， 以使所述第 一融合模块将所述特 征图与所述 通道输出 特征图融合， 获得第一融合输出 特征图； 通过所述第 一融合模块将所述第 一融合特征图输入第 二融合模块， 以使所述第 二融合 模块将所述第一融合特征图与经过所述BaseConv模块处理后的所述特征图或所述融合结 果进行融合， 得到通道增强特 征图。 7.如权利 要求6所述的行人检测方法， 其特征在于， 所述通过所述WG ‑NAM注意力 模块对 所述特征图进行权 重稀疏惩罚， 获得通道输出 特征图， 包括：权　利　要　求　书 2/3 页 3 CN 115131819 A 3