(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221026279 2.4 (22)申请日 2022.03.17 (71)申请人 青岛大学 地址 266000 山东省青岛市崂山区宁 夏路 308号 (72)发明人 魏伟波　高胥智　赵俊莉　潘振宽　 王静　 (74)专利代理 机构 青岛高晓专利事务所(普通 合伙) 37104 专利代理师 黄晓敏 (51)Int.Cl. G06V 20/40(2022.01) G06K 9/62(2022.01) G06V 20/52(2022.01) G06V 10/774(2022.01) (54)发明名称 一种基于TensorRT加速推理的电动车及电 动车电瓶检测方法 (57)摘要 本发明属于人工智能技术领域， 涉及一种基 于TensorRT加速推理的电动车及电动车电瓶检 测方法， 先获取样本图片并进行预处理得到目标 数据集； 再根据目标数据集训练YOLOX ‑Nano模 型， 并对模型进行测试后使用YOLOX网络调参得 到最优目标检测模型； 然后对JetsonNano  2GB开 发套件进行系统优化， 将得到的最优目标检测模 型封装至JetsonNano  2GB开发套件中； 最后使用 TensorRT加速推理检测识别进入电梯的电动自 行车、 电动摩托车 或者电动车电瓶， 通过Jetson ‑ GPIO实现对电梯的控制； 同时检测电动车和电动 车电瓶， 从根本上解决高层住户电动车入户充电 问题， 采用的训练数据集能更好的应用在各种电 梯轿厢内， 不受环境变化影响， 成本低， 识别率 高， 设备运行稳定 。 权利要求书2页 说明书6页 附图2页 CN 114639043 A 2022.06.17 CN 114639043 A 1.一种基于TensorRT加速推理的电动车及电动车电瓶检测方法， 其特征在于， 包括以 下步骤： (1)图片预处理： 获取样本图片， 对样本图片进行筛选、 批处理， 按VOC格式制作数据集 作为目标 数据集； (2)模型训练： 根据步骤(1)得到的目标数据集训练YOLOX ‑Nano模型， 并对模型进行测 试后使用YOLOX网络调参得到最优目标检测模型； (3)硬件优化： 对Jetso nNano 2GB开发套件进行系统优化； (4)模型部署： 将步骤(2)得到的最优目标检测模型先转化为onnx模型， 再通过 DeepStream转换为.engi ne模型， 将模型封装至Jetso nNano 2GB开发套件中； (5)检测识别： 使用Tensor RT加速推理检测识别进入电梯的电动自行车、 电动摩托车或 者电动车电瓶， 通过Jetso n‑GPIO实现对电梯的控制。 2.根据权利要求1所述基于TensorRT加速推理的电动车及电动车电瓶检测方法， 其特 征在于， 步骤(1)中所述样本图片为电梯内监控采集到的视频、 自主采集的图片和网络图 片， 目标数据集构建步骤： (1‑1)从多方面采集并筛选样本图片， 其中在采集场景上分室内和室外， 室外分为街道 和露天停车场， 室内分为电梯监控截图和楼道； 在 采集时间上分上午和夜晚， 其中夜晚为灯 光开启的环 境下进行； 在目标状态上， 分别对目标进 行八方向三角度采集， 八方向指东、 西、 南、 北、 东南、 东北、 西南和西北方向， 三角度指 0度、 45度和90度， 针对干扰项， 额外增加行人 遮挡和衣物遮挡状态； (1‑2)对开源数据集VOC2012数据集进行筛选， 只保留VOC2012数据集中的自行车一类， 通过xml树修改对应数据集标签文件的绝对路径； (1‑3)针对步骤(1 ‑1)的样本图片和(1 ‑2)筛选的数据集， 按照VOC数据集的格式进行 VOC格式化， 得到电动自行 车、 电动摩托车、 自行 车和电动车电瓶四类目标的样本图片； (1‑4)将步骤(1 ‑3)得到的四类目标的样本图片按1： 1： 1： 1的数量比例进行整理后， 再 按6： 2： 2的数量比例划分为训练集、 验证机和 测试集。 3.根据权利要求2所述基于TensorRT加速推理的电动车及电动车电瓶检测方法， 其特 征在于， 步骤(2)中所述模型训练的具体步骤如下： (2‑1)训练环境选取pytorch1.8， 根据YOLOX中custom文件下 的nano.py文件重新编写 yolox_voc_nan o.py， 使YOLOX网络能够训练Nan o模型； (2‑2)将步骤(1 ‑4)中划分好的训练集和验证集样本数据 导入修改后的YOLOX网络进行 模型训练， 得到.pth格式的目标检测模型； (2‑3)将步骤(1 ‑4)中划分好的测试集样本数据导入修改后的YOLOX网络， 测试步骤(2 ‑ 2)中得到的目标检测模 型的性能， 同时根据步骤2 ‑2中的训练数据统计修改网络参数， 最 终 确定学习率 为： lr＝lr*batcch_size/64 其中lr为学习率， batcch_size为一次训练所抓取的样本数， 经过调参重新训练得到最 优目标检测模型。 4.根据权利要求3所述基于TensorRT加速推理的电动车及电动车电瓶检测方法， 其特 征在于， 步骤(3)中所述JetsonNano  2GB开发套件选用英伟达公司于GTC2020上发布的针对权　利　要　求　书 1/2 页 2 CN 114639043 A 2人工智能开发的硬件设备， 先增加虚拟内存SWAPFile， 安装并更新pip3工具， 同时卸载掉 office软件及关联依赖， 编写csi相机脚本并测试相机 。 5.根据权利要求4所述基于TensorRT加速推理的电动车及电动车电瓶检测方法， 其特 征在于， 步骤(4)中模型部署的具体步骤如下： (4‑1)通过onnx转换工具将步骤(2 ‑3)中得到的最优目标检测模型转换为.o nnx格式； (4‑2)根据JetPack  4.5.1中集成的DeepStream工具创建YOLOX ‑DeepStream工具， 将步 骤(4‑1)中的.onnx模型通过YOL OX‑DeepStream转换为支持Ten sorRT加速推理的.engine模 型； (4‑3)利用De epStream对步骤(4 ‑2)中的.engi ne模型进行封装； (4‑4)激活Jetso n‑GPIO工具， 通过GPIO输出高低电平， 与电梯控制面板链接 。 6.根据权利要求5所述基于TensorRT加速推理的电动车及电动车电瓶检测方法， 其特 征在于， 步骤(5)中检测识别的具体过程 为： (5‑1)将signal.txt文件作为检测目标是否存在的标志文件， JetsonNano  2GB启动后 首先初始化， 删除signal.txt文件后启动CSI相机捕获电梯轿厢的场景； (5‑2)当相机捕获到电动自行车、 电动摩托车或者电动车电瓶时， 调用Jetson ‑GPIO， 同 时根据signal.txt是否存在来判定GPIO接口高低电平的状态； (5‑3)若signal.txt文件不存在， 即当前时间点首次检测到需求目标， GPIO从12引脚上 拉高电平， 控制电梯轿厢， 电梯门无法关闭运行， 此时播放 警告音频对电梯轿厢内的违规住 户进行提醒； (5‑4)继续通过CSI相机监控电梯轿厢， 此时如果住户将电动自行车、 电动摩托车或者 电动车电瓶移出电梯轿厢， 则GPIO的电平状态恢复为低电平， 电梯恢复正常运行； (5‑5)若住户仍没有将电动自行车、 电动摩托车或者电动车电瓶移出电梯轿厢， 则标记 文件signal.txt保留， GPIO仍然保持高电平输出。权　利　要　求　书 2/2 页 3 CN 114639043 A 3