(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111633372.4 (22)申请日 2021.12.28 (71)申请人 科大讯飞股份有限公司 地址 230088 安徽省合肥市高新区望江西 路666号 (72)发明人 李超龙　罗鹏飞　吴子扬　 (74)专利代理 机构 北京布瑞知识产权代理有限 公司 11505 专利代理师 宗广静 (51)Int.Cl. G06V 20/59(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 驾驶员行为检测方法及 装置、 安全驾驶提醒 方法及装置 (57)摘要 本申请提供了一种驾驶员行为检测方法及 装置、 安全驾驶提醒方法及装置， 涉及图像处理 技术领域。 该驾驶员行为检测方法包括： 基于驾 驶员的驾驶图像和驾驶图像对应的人体关键点 数据， 确定驾驶员的人体整体区域图像和人体面 部区域图像； 基于人体整体区域图像， 确定驾驶 员的第一行为识别信息； 基于人体面部区域图 像， 确定驾驶员的第二行为识别信息； 基于人体 关键点数据、 第一行为识别信息和第二行为识别 信息， 确定驾驶员的行为检测结果。 本申请提供 的驾驶员行为检测方法， 实现了高召回率、 高精 准率的不良驾驶行为检测， 提升了行为检测结果 的鲁棒性， 从而进一步提高了车辆行驶过程中的 安全性。 权利要求书3页 说明书16页 附图15页 CN 114463725 A 2022.05.10 CN 114463725 A 1.一种驾驶员行为检测方法， 其特 征在于， 包括： 基于驾驶员的驾驶图像和所述驾驶图像对应的人体关键点数据， 确定所述驾驶员的人 体整体区域图像和人体面部区域图像； 基于所述人体整体区域图像， 确定所述驾驶员的第一行为识别 信息； 基于所述人体面部区域图像， 确定所述驾驶员的第二行为识别 信息； 基于所述人体关键点数据、 所述第一行为识别信息和所述第二行为识别信息， 确定所 述驾驶员的行为检测结果。 2.根据权利要求1所述的驾驶员行为检测方法， 其特征在于， 所述人体关键点数据包括 手部关键点数据， 所述基于所述人体关键点数据、 所述第一行为识别信息和所述第二行为 识别信息， 确定所述驾驶员的行为检测结果， 包括： 基于所述第一行为识别 信息和所述第二行为识别 信息， 确定驾驶行为分数； 若所述驾驶行为分数落入预设危险驾驶分数范围， 基于所述手部关键点数据， 确定所 述驾驶员对应的手持物体 检测信息； 基于所述手持物体检测信息、 所述第一行为识别信息和所述第二行为识别信息， 确定 所述行为检测结果。 3.根据权利要求2所述的驾驶员行为检测方法， 其特征在于， 所述基于所述手部关键点 数据， 确定所述驾驶员对应的手持物体 检测信息， 包括： 基于所述手部关键点数据， 确定所述驾驶员的人体 手部区域图像； 基于所述驾驶员的人体 手部区域图像， 确定所述驾驶员对应的手持物体 检测信息 。 4.根据权利要求3所述的驾驶员行为检测方法， 其特 征在于， 所述基于所述人体整体区域图像， 确定所述驾驶员的第 一行为识别信 息， 包括： 将所述 人体整体区域图像输入人体姿态 识别模型， 得到所述第一行为识别 信息； 所述基于所述人体面部区域图像， 确定所述驾驶员的第 二行为识别信 息， 包括： 将所述 人体面部区域图像输入人体行为分类模型， 得到所述第二行为识别 信息。 5.根据权利要求4所述的驾驶员行为检测方法， 其特征在于， 所述人体姿态识别模型用 于： 基于所述人体整体区域图像， 确定右手关键点和右耳关键点之间的第一距离、 右手关 键点和左耳关键点之间的第二距离、 左手关键点和左耳关键点之 间的第三距离以及左手关 键点和右耳关键点之间的第四距离； 若所述第一距离、 所述第二距离、 所述第三距离以及所述第 四距离中的至少一个满足 预设打电话距离阈值范围， 则将所述第一行为识别 信息确定为打电话行为信息 。 6.根据权利要求4所述的驾驶员行为检测方法， 其特征在于， 在将所述人体面部区域图 像输入人体行为分类模型， 得到所述第二行为识别 信息之前， 还 包括： 获取多位样本驾驶员各自对应的驾驶图像序列； 基于所述多位样本驾驶员各自对应的驾驶图像序列， 生成第 一危险驾驶图像集和第 一 安全驾驶图像集； 删除所述第一安全驾驶图像集中的部分图像， 得到第二安全驾驶图像集， 以便提高所 述第一危险驾驶图像集对应的样本比例； 基于所述第 一危险驾驶图像集和所述第 二安全驾驶图像集训练初始网络模型， 得到所权　利　要　求　书 1/3 页 2 CN 114463725 A 2述人体行为分类模型。 7.根据权利要求6所述的驾驶员行为检测方法， 其特征在于， 在所述基于所述第 一危险 驾驶图像集和所述第二安全驾驶图像集训练初始网络模型， 得到所述人体行为分类模型之 后， 还包括： 基于所述多位样本驾驶员各自对应的驾驶图像序列， 生成测试图像集； 利用所述人体行为分类模型对所述测试图像集进行测试， 筛选出第 一困难样本集和第 二困难样本集， 其中， 所述第一困难样本集包括图像标签为危险驾驶行为且驾驶行为分数 落入预设安全驾驶分数范围的多帧测试图像， 所述第二困难样本集包括图像标签为安全驾 驶行为且所述驾驶行为分数落入预设危险驾驶分数 范围的多帧测试图像； 将所述第一困难样本集加入所述第一 危险驾驶图像集， 生成第二 危险驾驶图像集； 将所述第二困难样本集加入所述第二 安全驾驶图像集， 生成第三 安全驾驶图像集； 基于所述第二危险驾驶图像集和所述第三安全驾驶图像集训练所述人体行为分类模 型， 以便提升所述人体行为分类模型的精度。 8.根据权利要求2至7任一项所述的驾驶员行为检测方法， 其特征在于， 在所述基于所 述第一行为识别 信息和所述第二行为识别 信息， 确定驾驶行为分数之后， 还 包括： 若所述驾驶行为分数落入预设安全驾驶分数范围， 确定所述行为检测结果为安全驾 驶。 9.根据权利要求1至7任一项所述的驾驶员行为检测方法， 其特征在于， 在所述基于驾 驶员的驾驶图像和所述驾驶图像对应的人体关键点数据， 确定所述驾驶员的人体整体区域 图像和人体面部区域图像之前， 还 包括： 获取所述驾驶图像； 利用人体关键点检测模型， 基于所述驾驶图像， 确定所述人体关键点数据。 10.一种安全驾驶 提醒方法， 其特 征在于， 包括： 获取在驾驶员的驾驶过程中拍摄的多帧驾驶图像； 确定所述多帧驾驶图像各自对应的行为检测结果， 其中， 所述行为检测结果基于权利 要求1至9任一项所述的驾驶员行为检测方法确定； 若基于所述多帧驾驶图像各自对应的驾驶员的行为检测结果确定， 符合危险驾驶检测 结果的图像数量落入预设危险驾驶数量范围， 则发出预警信息， 以便提醒所述驾驶员安全 驾驶。 11.一种驾驶员行为检测装置， 其特 征在于， 包括： 第一确定模块， 用于基于驾驶员的驾驶图像和所述驾驶图像对应的人体关键点数据， 确定所述驾驶员的人体整体区域图像和人体面部区域图像； 第二确定模块， 用于基于所述人体整体区域图像， 确定所述驾驶员的第一行为识别信 息； 第三确定模块， 用于基于所述人体面部区域图像， 确定所述驾驶员的第二行为识别信 息； 第四确定模块， 用于基于所述人体关键点数据、 所述第一行为识别信息和所述第二行 为识别信息， 确定所述驾驶员的行为检测结果。 12.一种安全驾驶 提醒装置， 其特 征在于， 包括：权　利　要　求　书 2/3 页 3 CN 114463725 A 3