(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210599623.X (22)申请日 2022.05.30 (71)申请人 哈尔滨工业大 学 （深圳） 地址 518000 广东省深圳市南 山区桃源街 道深圳大学城哈尔滨工业大学校区G 栋314 (72)发明人 楼云江　彭建文　 (74)专利代理 机构 深圳叁众知识产权代理事务 所(普通合伙) 44434 专利代理师 赵学超 (51)Int.Cl. G06V 40/10(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/82(2022.01)G06V 10/774(2022.01) G06T 7/62(2017.01) G06T 3/40(2006.01) G06V 10/40(2022.01) G06V 10/80(2022.01) (54)发明名称 集伤点场景下基于深度学习的伤员识别方 法与系统 (57)摘要 本发明涉及一种基于深度学习神经网络的 伤员识别方法与系统， 其中的方法包括以下步 骤： S10、 通过深度相机对 集伤点环境中的至少一 个的伤员图片的进行采集， 并汇 集成伤员图片的 现场数据集； S20、 以数据增广的方式， 针对所述 现场数据集中的近距离拍摄的原始伤员图片生 成更小尺 寸的额外伤员图片， 并使所述额外伤员 图片与原始伤员图片关联后储存在所述现场数 据集中； S30、 将深度相机 所拍摄的现场图片输入 至基于深度学习的神经网络以计算输出所述现 场图片中的伤员数量， 其中所述神经网络由预训 练数据集和所述现场数据集来训练。 其中的系统 包括深度相机、 存储器和处理器， 该处理器在执 行储存在存储器的指令时实施所述方法。 权利要求书2页 说明书7页 附图7页 CN 114913550 A 2022.08.16 CN 114913550 A 1.一种基于深度学习神经网络的伤员识别方法， 其特 征在于， 所述方法包括以下步骤： S10、 通过深度相机对集伤点环境中的至少一个的伤员图片的进行采集， 并汇集成伤员 图片的现场数据集； S20、 以数据增广的方式， 针对所述现场数据集中的近距离拍摄的原始伤员图片生成更 小尺寸的额外伤员图片， 并使 所述额外伤员图片与 原始伤员图片关联后储存在所述现场数 据集中； S30、 将深度相机所拍摄的现场图片输入至基于深度学习的神经网络以计算输出所述 现场图片中的伤员数量， 其中所述神经网络由预训练数据集和所述现场数据集 来训练。 2.根据权利要求1所述的方法， 其特 征在于， 所述 步骤S10包括： 在移动设备向集伤点环境的行进过程中， 从较远位置开始通过移动设备上搭载的深度 相机进行图像采集， 其中， 所述移动设备包括四足机器狗、 移动机器人、 移动智能车或飞行 无人机。 3.根据权利要求1所述的方法， 其特 征在于， 所述 步骤S20包括： S21、 将近距离拍摄的伤员图片确定为小目标占比低的图片； S22、 将小目标占比较低的图片的图像尺寸缩小到原来的四分之一， 并将四张缩小后的 图片拼接成与原图像尺寸相同的图片。 4.根据权利要求3所述的方法， 其特 征在于， 所述 步骤S21包括： 识别所拍摄的图片中的人体轮廓所占图片的面积范围的小于预设的像素乘积阈值， 则 将该图片确定为包 含小目标的图片。 5.根据权利要求1所述的方法， 其特 征在于， 对于所述 步骤S30， 所述神经网络包括： VGG16网络架构的基础网络层； 用于提取不同尺度的特 征映射图的辅助卷积层； 预测卷积层， 所述预测卷积层包括 位置预测卷积层和类别预测卷积层。 6.根据权利要求5所述的方法， 其特 征在于， 所述神经网络被 配置成： 使conv4_3层、 conv7层、 conv8_2层、 conv9_2层、 conv10_2层以及conv11_2层输出的特 征图发送到预测卷积层， 以获取图片中伤员位置信息和分类信息； 使conv4_3层、 conv7层、 conv8_2层输出的特征图进行特征 融合， 以融合成与conv4_3层 输出特征图同尺寸的特 征图， 并且代替co nv4_3层特 征图， 再发送到预测卷积层。 7.根据权利要求6所述的方法， 其特 征在于， 所述神经网络被 配置成： 使conv4_3层的H1xW1xC1大小特征图的经过3x3大小的卷积层， 再连接L2norm层， 再连接 ReLu层， 从而输出同尺寸大小的第一特 征图； 使Conv7层的H2xW2xC2大小特征图的经过反卷积层， 连接L2norm层， 再连接ReLu层， 从而 输出尺寸 为H1xW1xC1/2大小的第二特 征图； 使Conv8_2层H3xW3xC3大小的特征图经过反卷积层， 连接L2norm层， 再连接ReLu层， 从而 输出尺寸 为H1xW1xC1/2大小的第三特 征图； 使输出的第一特征图、 第二特征 图和第三特征图通过拼接的方式生成H1xW1xC1*2大小 的特征图， 其中H、 W和C分别表示特 征图的尺寸维度。 8.根据权利要5所述的方法， 其中， 对所述神经网络的训练包括以下步骤： S40、 通过损失函数计算所述预测卷积层所输出的特征图每个点的损失值， 用于在所述权　利　要　求　书 1/2 页 2 CN 114913550 A 2神经网络的训练过程中更新所述神经网络的模 型参数， 直至经过训练后的特征图所有点的 损失值总和小于预设阈值， 则停止训练， 其中所述损失函数的计算包括： 计算特征图每个点的预测框与真实框的重叠度； 若重叠度大于设置的阈值， 则该预测 框与真实框所标记的类相同， 设置为正类； 若重叠度小于 设置的阈值， 则认为该预测框标记 的类是背景， 设置为负类； 预测框与真实框的损失函数等于预测框的位置损失与分类损失之和， 其中 预测框的位置损失的计算方式为 预测框的分类损失的计算方式为 其中， Lloc位置损失函数， Lclass是分类损失函数， Np是正类预测框个数， Nn是负类预测框 个数， Boxi_pred是预测框的坐标信息， Boxi_real是对应真实框的坐标信息， Distance()表示 坐标之间的欧氏距离计算 函数， CE_loss表示求交叉熵损失函数。 9.根据权利要1至8中任一权利要求所述的方法， 其中， 对所述神经网络的训练包括以 下步骤： S51、 通过互联网抓取多个的伤员图片加入预训练数据集； S52、 以数据增广的方式， 针对所述预数据集中的近距离拍摄的原始伤员图片的图像尺 寸缩小到原来的四分之一， 并将四张缩小后的图片拼接成与原图像尺寸相同的图片， 并使 拼接的伤员图片与原 始伤员图片关联后储 存在所述预 数据集中。 10.一种伤员识别系统， 其特 征在于， 包括： 由移动设备 搭载的至少一个深度相机； 与所述深度相机连接的计算机设备， 所述计算机设备包括计算机可读存储介质， 其上 储存有程序指令， 所述程序指令被处理器执行时实施如权利要求1至9中任一项所述的方 法。权　利　要　求　书 2/2 页 3 CN 114913550 A 3