(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211108398.1 (22)申请日 2022.09.13 (71)申请人 大连理工大 学 地址 116024 辽宁省大连市甘井 子区凌工 路2号 (72)发明人 李宝军　丁亮　刘泽阳　 (74)专利代理 机构 辽宁鸿文知识产权代理有限 公司 21102 专利代理师 许明章　王海波 (51)Int.Cl. G06T 7/285(2017.01) G06T 7/73(2017.01) G06T 7/292(2017.01) G06T 7/80(2017.01) G06T 7/593(2017.01)G06T 5/00(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于双目相机的穿梭油船实时状态监 测方法 (57)摘要 一种基于双目相机的穿梭油船实时状态监 测方法， 获取双目相机采集图像， 并计算视差图， 经过处理得到高质量点云。 构建数据集训练深度 学习网络， 输入左目图像获取目标穿梭油船的船 头位置。 基于点云数据计算海上油气开采平台和 穿梭油船的实时距离和角度， 经绘制和网络传 输， 输出左目图像、 穿梭油船最优包围框、 预警信 息、 实时距离和角度、 相机状态、 环境亮度， 让船 员实时掌握穿梭油船的运行状态。 本发明通过用 双目相机对外输作业过程中穿梭油船进行实时 采集， 计算出海 上油气开采平台和穿梭油船的实 时距离和角度， 给出相应的预警信息， 并将数据 实时上传到客户端使操作者能够实时获取穿梭 油船状态， 从而进行相应的调整， 保证外输作业 的安全性。 权利要求书3页 说明书7页 附图4页 CN 115511922 A 2022.12.23 CN 115511922 A 1.一种基于双目相机的穿梭油船实时状态监测方法， 其特 征在于， 步骤如下： 步骤1， 获取双目相机采集的原 始数据， 经 过图像预处 理， 得到稠密视 差图； (1.1)配置双目相机以及本地PC端网络， 将双目相机的原 始数据传送至PC端； (1.2)对原始数据进行解析， 获取双目相机采集的左目原始图像、 右 目原始图像、 相机 标定数据、 环境亮度以及相机状态； 其中， 相机标定数据包括内外参、 畸变系数以及基线； (1.3)基于左目原始图像、 右 目原始图像和相机标定数据， 经过畸变校正、 立体校正以 及图像预处 理， 得到左相机校准图像、 右相机校准图像； (1.4)利用步骤(1.3)得到的左相机校准图像、 右相机校准图像进行立体匹配， 得到原 始视差图； 采用滤波算法对原 始视差图进行清洗， 得到稠密视 差图； 步骤2， 对步骤1得到的稠密视 差图进行计算， 经 过滤得到高质量 三维点云数据； (2.1)基于稠密视差图使用三角形测距原理， 再根据已知双目相机的内参以及基线， 得 到原始点云数据； (2.2)设置维度以及阈值参数， 指定参数范围内的点通过， 将参数范围之外的点过滤 掉， 得到高质量 点云数据； 步骤3， 采集穿梭油船外输作业场景， 构建穿梭油船数据集， 针对不同工况， 利用数据增 广方式扩充穿梭油船 数据集， 并完成精确标注； (3.1)采集穿梭油船外输作 业场景， 对采集的数据进行清洗， 去除重复以及成像质量较 低的图像， 构建穿梭油船数据集； 针对穿梭油船的浮动和摆动以及 海面天气多变工况， 使用 数据增广方式扩充穿梭油船 数据集； (3.2)利用图像标注软件 对上述构建的数据集进行精确标注， 得到对应的标签； 步骤4， 构建目标检测网络， 进行训练、 模型参数优化和部署， 输入步骤(1.3)得到的左 相机校准图像进行目标检测， 获取目标 船的观测框； (4.1)搭建深度学习目标检测网络， 输入数据增广后的穿梭油船数据集以及对应的标 签文件进行训练， 得到模型训练权 重； (4.2)使用深度学习推理框架， 对步骤(4.1)搭建的深度学习目标检测网络进行模型参 数优化和部署， 得到 工程化的目标检测网络； (4.3)将步骤(1.3)得到的左相机校准图像输入到工程化的目标检测网络进行预测， 获 取目标船的观测框； 步骤5， 使用目标追踪算法对目标船进行追踪， 与目标检测结果融合更新， 得到目标船 的最优包围框； (5.1)建立目标船运动学公式， 使用卡尔曼滤波算法的运动方程对目标船的位置进行 预测， 得到目标 船的预测框； (5.2)基于目标船的观测框和预测框的IOU作 为度量值构 建关联矩阵， 对观测框和预测 框进行匹配， 得到最佳的匹配对； (5.3)建立目标船位置更新公式， 使用卡尔曼滤波算法的更新方程对最佳匹配的观测 框和预测框进行融合更新， 得到目标 船的最优 包围框； 步骤6， 对最优包围框区域内的穿梭油船进行特征提取， 结合步骤(2.2)得到的高质量 点云数据进行计算， 得到穿梭油船与海上油气开采平台的相对距离和角度； (6.1)对包围框区域内的穿梭油船进行特征提取， 得到目标穿梭油船的船头边缘显著权　利　要　求　书 1/3 页 2 CN 115511922 A 2纹理特征； (6.2)结合步骤(2.2)得到的高质量点云数据进行计算， 得到显著纹理特征的三维坐标 值， 使用相关滤波算法去除异常值， 得到有效点云数据； (6.3)结合双目相机与海上油气开采平台的相对位置参数， 对步骤(6.2)得到的有效点 云数据进行坐标换算， 利用以下公式计算， 得到穿梭油船与油气开采平台的相对距离和角 度； 其中， Xi为有效点云数据的X方向坐标值， Zi为有效点云数据的Z方向坐标值， Z0为相机 距离海上油气开采平台尾部的距离， n为有效点云数据的个数， L为海上油气开采平台与穿 梭油船的距离， θ 为油气开采平台与穿梭油船的相对角度。 步骤7， 根据海上油气开采平台外输作业等级表制定穿梭油船的预警策略， 对步骤6得 到的距离和角度进行判断， 给 出不同等级的预警信息， 并绘制信息； (7.1)划定距离和夹角的安全范围与等级； 当穿梭油船与油气开采平台的距离在(0， DoWL1]或角度在(0， α ]时， 进行一级预 警； 当距离在(DoWL1， DoWL2]或角度在( α， β ]时， 进行二 级预警； 当距离在(DoWL2， DoWL3]或角度在(β， γ]时， 进行三级预警。 距离单位： m， 角度单 位：°； 其中距离参数DoWL1,DoWL2,DoWL3和角度参数α, β,γ根据海上油气开采平台外输作业 等级表制定和更新； 一 旦计算结果进入相应的预警范围， 系统发出对应程度的警报； (7.2)在左相机校准图像绘制穿梭油船的最优包围框、 预警标尺线、 穿梭油船与海上油 气开采平台的实时距离和角度、 预警等级、 环境亮度以及相机状态， 获得左图复合信息； 步骤8， 将绘制的左图复合信息进行存储， 同时基于网络通信原理， 将左图复合信息数 据发送至客户端， 实时显示 穿梭油船的状态； (8.1)将步骤(7.2)绘制的左图复合信息转化成二进制数据流的格式实时写入数据库 中； (8.2)将步骤(7.2)绘制的左图复合信息进行压缩以及格式转换； (8.3)基于网络通信原理搭建客户端和服务端， 服务端通过发送接口将左图复合信息 发送给客户端； (8.4)客户端接收数据， 进行解码以及格式转换， 并实时显示 穿梭油船的复合信息 。 2.根据权利要求1所述的基于双目相机的穿梭油船实时状态监测方法， 其特征在于， 所 述的采用滤波算法选择加权中值滤波或空洞填充等。 3.根据权利要求1所述的基于双目相机的穿梭油船实时状态监测方法， 其特征在于， 所 述的深度学习目标检测网络 选择YOLOv5或YOLOX。 4.根据权利要求1所述的基于双目相机的穿梭油船实时状态监测方法， 其特征在于， 所 述的深度学习推理框架选择TensorRT。权　利　要　求　书 2/3 页 3 CN 115511922 A 3