(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111503985.6 (22)申请日 2021.12.02 (71)申请人 四川启睿 克科技有限公司 地址 610000 四川省成 都市中国 （四川） 自 由贸易试验区成都高新区天府四街 199号1栋33层 (72)发明人 罗胡琴　向秀青　 (74)专利代理 机构 成都虹桥专利事务所(普通 合伙) 51124 代理人 陈春光 (51)Int.Cl. G06V 40/16(2022.01) G06T 7/33(2017.01) G06T 7/80(2017.01) G06N 20/00(2019.01) (54)发明名称 车载安全监测方法 (57)摘要 本发明涉及安全监测技术领域， 公开了一种 车载安全监测方法， 旨在解决现有的温度监测方 式存在准确度低的问题， 包括以下步骤： 通过至 少一个双目摄像头采集车内图像； 建立灰度与温 度之间的第一对应 关系； 对可见光图像和热成像 图像进行图像配准， 确定出可见光图像与热成像 图像中位置之间的第二对应关系； 当在可见光图 像中识别到人脸后在可见光图像中确定人脸的 多个特征点； 根据多个特征点的位置在热成像图 像中确定 各特征点的对应位置； 选出预设位置特 征点， 并根据预设位置特征点的灰度确定各预设 位置特征点的温度， 并将各预设位置特征点的平 均温度作为人脸对应的体温。 本发 明提高了温度 测量的准确性， 特别适用于网约车。 权利要求书4页 说明书8页 附图3页 CN 114187635 A 2022.03.15 CN 114187635 A 1.车载安全监测方法， 其特 征在于， 包括以下步骤： 步骤1、 通过至少一个双目摄像头采集车内 图像， 所述双目摄像头包括可见光摄像头和 红外摄像头， 所述图像包括可 见光图像和热成像图像； 步骤2、 建立灰度与温度之间的第一对应关系； 步骤3、 对所述可见光图像和热成像图像进行图像配准， 确定出可见光图像与热成像图 像中位置之间的第二对应关系； 步骤4、 当在所述可见光图像 中识别到人脸后， 基于鲁棒初始化的级联姿态回归算法在 可见光图像中确定人脸的多个特 征点； 步骤5、 根据所述多个特征点的位置并基于所述第二对应关系在热成像图像中确定各 特征点的对应位置； 步骤6、 从热成像图像 中的各特征点中选出预设位置特征点， 并根据 预设位置特征点的 灰度并基于所述第一对应关系确定各预设位置特征点的温度， 并将各预设位置特征点的平 均温度作为人脸对应的体温。 2.如权利要求1所述的车载安全监测方法， 其特征在于， 步骤3 中， 对所述可见光图像和 热成像图像进行图像 配准， 具体包括： 步骤31、 制作标定 板， 所述标定 板上设有正方 形的孔； 步骤32、 通过双目摄像头获取所述标定板的可见光图像和热成像 图像， 并在可见光图 像和热成像图像中分别确定正方 形的四个顶点的位置； 步骤33、 根据可见光图像和热成像图像中四个顶点的位置的对应关系， 计算可见光图 像和热成像图像之 间的单应性变换参数， 根据所述单应性变换参数确定可见光图像与热成 像图像中位置之间的第二对应关系。 3.如权利要求2所述的车载安全监测方法， 其特征在于， 设可见光图像中的位置坐标为 (x， y)， 热成像图像中的位置坐标为(u， v)， 步骤33中， 所述计算可见光图像和热成像图像 之 间的单应性变换参数的公式如下： 式中， 表示可见光图像对应的齐次坐标， 表示热成像图像对应的齐次坐标， H和 表示单应性变换参数矩阵。 4.如权利要求1所述的车载安全监测方法， 其特征在于， 步骤4中， 所述基于鲁棒初始化 的级联姿态回归算法在可 见光图像中确定人脸的多个特 征点， 具体包括：权　利　要　求　书 1/4 页 2 CN 114187635 A 2步骤41、 根据采集到的所有人脸图像从多个训练库人脸中确定与每个采集人脸相关距 离最小的训练库人脸， 并将得到的训练库人脸的形状作为人脸的纹 理相关初始形状； 步骤42、 确定每 个采集人脸的姿态相关初始形状； 步骤43、 分别根据所述纹理相关初始形状和姿态相关初始形状并基于RCPR算法进行级 联回归得到预测结果， 计算预测结果的方差， 并根据方差与第一预设阈值的大小关系确定 人脸的多个特 征点的位置 。 5.如权利要求4所述的车载安全监测方法， 其特征在于， 步骤41中， 所述根据采集到的 所有人脸图像从多个训练库人脸中确定与每个采集人脸相关距离最小的训练库人脸， 具体 包括： 步骤411、 计算采集到的单个人脸图像对应的第一直方图矩阵TM以及各训练库人脸 {TRI}1,2,…,Γ对应的第二 直方图矩阵TRMγ， 其中γ＝1， 2， . ..， Γ， Γ为训练库人脸个数； 步骤412、 分别计算第一直方图矩阵TM与各第二直方图矩阵TRMγ的相关系数ργ， 并根据 所述相关系数ργ计算人脸图像与训练库人脸的相关距离dγ； 步骤413、 确定相关距离dγ最小值对应的训练库人脸。 6.如权利要求5所述的车载安全监测方法， 其特征在于， 所述相关系数ργ的计算公式如 下： 式中， 表示第一直方图矩阵TM的均值， 表示第二直方图矩阵TRMγ的均值， m表 示计算直方图矩阵时人脸划分的区域个数， n表示模式数量， i表 示直方图矩阵第i行， j表 示 直方图矩阵第j列。 7.如权利要求5所述的车载安全监测方法， 其特征在于， 所述相关距离dγ的计算公式如 下： dγ＝1‑ργ。 8.如权利要求4所述的车载安全监测方法， 其特征在于， 步骤42中， 所述确定每个采集 人脸的姿态相关初始形状， 具体包括： 步骤421、 基于MTCNN算法检测脸部五个关键点的位置， 所述五个关键点的位置包括： 两 眼眼球中心、 鼻尖和两个嘴角的位置； 步骤422、 根据所述五个关键点的位置 并基于EPnP算法计算人脸姿态， 所述人脸姿态通 过旋转向量表示， 计算公式如下： 式中， p表示五个关键点的位置， 表示五个关键点的位置的三维平均脸， g( ·)表示 EPnP算法， 表示旋转向量。 步骤423、 将预先定义的包含29个特征点位置的三维平均 脸映射到相应的二维位置， 公 式如下：权　利　要　求　书 2/4 页 3 CN 114187635 A 3