(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202211081288.0 (22)申请日 2022.09.06 (65)同一申请的已公布的文献号 申请公布号 CN 115170911 A (43)申请公布日 2022.10.11 (73)专利权人 浙江大学湖州研究院 地址 313000 浙江省湖州市吴兴区西塞山 路819号南太湖新区科技创新综合体 B1、 B2幢2- 3层 (72)发明人 蔡振宇　李传祥　张伟　孙恺　 (74)专利代理 机构 浙江千克知识产权代理有限 公司 33246 专利代理师 孙琦 (51)Int.Cl. G06V 10/774(2022.01)G06V 10/82(2022.01) G06V 40/10(2022.01) G06T 7/73(2017.01) G06T 5/00(2006.01) (56)对比文件 CN 110929638 A,2020.0 3.27 CN 111027412 A,2020.04.17 审查员 赵会玲 (54)发明名称 一种基于图像识别的人体关键部位定位系 统及方法 (57)摘要 本发明属于图像识别定位技术领域， 涉及一 种基于图像识别的人体关键部位定位系统及方 法。 方法包 括： S1采集训练人体图像样本； S2对训 练人体图像样本按照人体部位进行划分， 并进行 数据标定、 归一化处理； S3神经网络模型基于归 一化训练人体图像样本数据进行训练； S4输入归 一化真实人体图像样本数据至训练后神经网络 模型， 以得到描述目标位置信息的先验框， 并基 于先验框进行位置回归以对坐标进行回归预测， 以得到目标预测框， 基于目标预测框的位置信息 输出人体各部位的位置坐标； S5对人体各部位的 位置坐标进行畸变消除； S6基于畸变消除后位置 坐标， 控制指向机构指向人体相应部位。 本发明 给出了模型训练的方式， 考虑了镜头畸变影响， 可保证定位精度。 权利要求书3页 说明书10页 附图3页 CN 115170911 B 2022.12.30 CN 115170911 B 1.一种基于 图像识别的人体关键部位定位系统， 其特征在于， 包括依次联接的图像数 据采集模块、 数据预处 理模块、 神经网络模型、 畸变消除模块、 指向模块； 图像数据采集模块， 用于采集训练人体图像样本、 真实人体图像样本； 数据预处理模块， 用于对训练人体图像样本、 真实人体图像样本按照人体部位进行划 分， 并进行数据标定， 对进行数据标定后的人体图像样本数据进 行归一化处理， 以得到归一 化训练人体图像样本数据、 归一 化真实人体图像样本数据； 神经网络模型， 基于归一化训练人体图像样本数据进行训练， 以得到训练后神经网络 模型； 训练后神经网络模型， 基于输入的归一化真实人体图像样本数据， 得到描述目标位置 信息的先验框， 并基于所述先验框进行位置回归以对坐标进行回归预测， 以得到目标预测 框， 基于目标 预测框的位置信息 输出人体各部位的位置坐标； 畸变消除模块， 基于图像数据采集模块中镜头的畸变消除公式对人体各部位的位置坐 标进行畸变消除， 以得到畸变消除后的人体各部位的位置坐标； 指向模块， 基于所述畸变消除后的人体各部位的位置坐标， 控制指向机构指向人体相 应部位； 所述神经网络模型包括骨干网络层、 第一脖颈网络层、 第二脖颈网络层、 第一预测层、 第二预测层， 骨干网络层分别与第一脖颈网络层、 第二脖颈网络层联接， 第一脖颈网络层与 第一预测层联接， 第二脖 颈网络层与第二预测层联接； 所述骨干网络层包括依次联接的第一DBL层、 第一MDBL层、 第二MDBL层、 第二DBL层， 所 述第一MDBL层由四对串 联的第一最大池化层、 第三DBL层 串联得到， 所述第二MDBL层由两对 串联的第二最大池化层、 第四DBL层串联得到， DBL层均由第三卷积层、 BN层、 Leaky  relu函 数层串联 得到； 第一MDBL层与拼接层联接， 第二DBL层通过串联的第五DBL层、 上采样层与拼接层联接， 拼接层通过第二脖 颈网络层与第二预测层联接； 所述第一脖颈网络层由串联的第六DBL层、 第一卷积层串联得到， 所述第二脖颈网络层 由串联的第七DBL层、 第二卷积层串联 得到； 第二DBL层与第六DBL层联接， 拼接层与第七DBL层联接， 第一卷积层与第一预测层联 接， 第二卷积层与第二预测层联接 。 2.根据权利要求1所述的一种基于图像识别的人体关键部位定位系统， 其特征在于， 所 述畸变消除公式具体为： ， 其中， 为所述人体各部位的像素位置坐标， 为畸变消除后的人体各部 位的像素位置坐标， 表示像素位置坐标到图像中心的距离， ， 、 为镜 头径向畸变系数， 、 为镜头切向畸变系数。权　利　要　求　书 1/3 页 2 CN 115170911 B 23.根据权利要求1所述的一种基于图像识别的人体关键部位定位系统， 其特征在于， 系 统还包括分别与畸变消除模块、 指向模块连接的坐标转换模块； 坐标转换模块， 用于将畸变消除后的人体各部位的位置坐标由像素坐标系转换至世界 坐标系。 4.根据权利要求3所述的一种基于图像识别的人体关键部位定位系统， 其特征在于， 世 界坐标系和像素坐标系变换的计算公式具体为： ， ， 其中， 为畸变消除后的人体各部位的像素位置坐标， ， 分别表示每个 像素单元实际的长度和宽度， 为从图像坐标系中心点到像素坐标系中心点的一个偏 移量， 表示相机的焦距， 和 分别为世界坐标系和相机坐标系变换的旋转矩阵和平移 向量 ， 和 分别为像素坐标系下 轴和 轴的归一化焦距 ， 为相应点位在世界坐标系下的坐标， 为相应点位在相机坐标系下Z轴上 的坐标； 其中， 相机坐标系以相机光心为原点， 图像坐标系以所述光心在像平面的投影为原点， 像素坐标系以图像平面的左上角为原点。 5.根据权利要求1所述的一种基于图像识别的人体关键部位定位系统， 其特征在于， 所 述神经网络模型中第二预测层输入的特征图是通过骨干网络层中浅层 网络的细节特征和 深层网络的语义特 征通过拼接层拼接获得。 6.根据权利要求1所述的一种基于图像识别的人体关键部位定位系统， 其特征在于， 所 述目标预测框为：权　利　要　求　书 2/3 页 3 CN 115170911 B 3