(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211272625.4 (22)申请日 2022.10.18 (71)申请人 兰州未来 新影文化科技 集团有限责 任公司 地址 730300 甘肃省兰州市兰州新区综合 保税区综合 服务楼B区121号 (72)发明人 杜华　王语堂　岳宗　赵朋飞　 (74)专利代理 机构 北京东方芊悦知识产权代理 事务所(普通 合伙) 11591 专利代理师 陈益奇 (51)Int.Cl. G06V 40/16(2022.01) G06V 10/82(2022.01) G06V 10/46(2022.01) G06N 3/08(2006.01)G06N 3/04(2006.01) (54)发明名称 一种人脸 面部表情 捕捉系统及方法 (57)摘要 本发明提供一种人脸面部表情捕捉系统和 方法， 该系统包括至少一个面部表情捕捉装置， 面部特征点检测器， 面部目标点跟踪器， 面部模 板更新器， 面部特征点定位器， 自定位计算器， 面 部表情编辑器以及面部表情解算器。 采用本发明 提供的面部表情捕捉方法最少需要两个光学相 机即可实现人脸面部区域的定位和面部表情的 精细解算， 适用性强， 解算精度高， 极大提升了面 部表情捕捉技术的实用性、 便捷性、 稳定性和准 确性。 权利要求书3页 说明书8页 附图1页 CN 115497148 A 2022.12.20 CN 115497148 A 1.一种人脸 面部表情 捕捉系统， 其特 征在于， 包括： 人脸面部表情捕捉装置(10)， 所述人脸面部表情捕捉装置(10)用于采集人脸面部的二 维标记点、 关键点以及人脸视频信息； 面部特征点检测模块(20)， 用于对所述标记点与特征点进行检测， 得到二维标记点特 征点集和二维关键点特 征点集； 面部目标点跟踪模块(30)， 用于确定、 校验以及修正所述标记点特征点集在不同时刻 的特定物理含义， 进 而得到具有准确物理含义的标记点跟踪特 征点集； 面部模板更新模块(40)， 用于生成不同时刻的面部二维动态模板集和不同时刻的面部 三维动态模板集； 自定位计算器(50)， 用于所述人脸面部表情捕捉装置(10)的定位计算， 即计算所述人 脸面部表情 捕捉转装置(10)在第二 坐标系下的空间三维坐标以及姿态角； 面部特征点定位模块(60)， 用于计算、 校验以及修正所述标记点跟踪特征点集中各点 以及所述关键点特征点集中各点在第一坐标系下的三 维坐标， 进而生成面部标记点跟踪 特 征点集的三维特 征点集与面部关键点特 征点集中各点在第一 坐标系下的三维坐标； 面部表情编辑器(70)， 用于对所述人脸面部表情捕捉装置(10)采集到的人脸视频信息 进行面部基本表情集属性的编辑和标记， 进而得到所述人脸面部表情捕捉装置(10)采集到 的特定人脸的基本表情属性 集合； 面部表情解算器(80)， 用于将所述标记点跟踪特征点集的三维特征点集与面部关键点 特征点集中各点在第一坐标系下的三 维坐标从第一坐标系转换到第二坐标系中， 再根据所 述面部表情编辑器(70)中得到的基本表情属性集合， 对特定人脸的表情进行结算， 进而得 到表情权 重参数。 2.根据权利要求1所述的人脸面部表情捕捉系统， 其特征在于， 所述人脸面部表情捕捉 装置(10)包括至少两个图像采集传感器(11)， 所述图像采集传感器(11)用于采集人脸面部 的二维标记点、 关键点以及人脸视频信息； 所述面部特征点检测模块(20)包括至少一个面部标记点检测器(21)与至少一个面部 关键点检测器(22)， 所述面部标记 点检测器(21)用于对 所述图像采集传感器(11)采集的人 脸视频信息中人脸面部区域的点状标记点进 行检测， 进而得到人脸面部的二 维标记点特征 点集， 其中对所述点状标记点均做Mask处理； 所述面部关键点检测器(22)用于对所述图像 采集传感器(11)采集的人脸视频信息中人脸面部区域的关键点进 行检测， 进而得到人脸面 部的二维关键点特 征点集； 所述面部目标点跟踪模块(30)， 包括至少一个面部标记点跟踪器(31)和至少一个标记 点跟踪校验修正器(32)； 所述面部标记 点跟踪器(31)用于对 所述面部标记 点检测器(21)得 到的二维标记点特征点集进行跟踪， 确定人脸不同时刻的二 维标记点特征点集的特定物理 含义； 所述标记点跟踪 校验修正器(32)用于对 所述二维标记点特征点集的特定物理含义进 行校验和修 正， 进而得到具有准确物理含义的二维标记点跟踪特 征点集； 所述面部模板更新模块(40)， 包括至少一个面部二维模板更新器(41)和至少一个面部 三维模板更新器(42)， 所述面部二维模板更新器(41)对面部二维模板进行动态更新， 生成 不同时刻的面部二 维动态模板集， 所述面部三 维模板更新器(42)对面部三 维模板进 行动态 更新， 生成不同时刻的面部三维动态模板集；权　利　要　求　书 1/3 页 2 CN 115497148 A 2所述面部特征点定位模块(60)， 包括至少一个面部标记点定位器(61)、 至少一个面部 关键点定位器(62)以及至少一个面部标记 点定位校验修正器(63)； 所述面部标记 点定位器 (61)用于计算所述标记点跟踪 特征点集中各点在第一坐标系下的三 维坐标， 所述面部 关键 点定位器(62)用于计算所述关键点特征点集中各点在第一坐标系下的三 维坐标， 进而 得到 面部关键点特征点集中各点在第一坐标系下的三 维坐标； 所述面部标记点定位校验修正器 (63)用于对所述面部标记点定位器(61)经计算得到的标记点跟踪特征点集中各点在第一 坐标系下三维坐标的校验和修 正， 进而生成面部标记点跟踪特 征点集的三维特 征点集。 3.根据权利要求2所述的人脸面部表情捕捉系统， 其特征在于， 所述人脸面部表情捕捉 装置(10)还包括光源、 惯性传感器、 深度图像传感器、 用于数据交换的无线通信装置以及用 于进行分析计算的单个或多个电子芯片处 理器。 4.根据权利要求3所述的人脸面部表情捕捉系统， 其特征在于， 所述光源用于辅助 所述 图像采集传感器(11)进 行图像采集； 所述惯性传感器以及深度图像传感器用于辅助所述人 脸面部表情 捕捉装置(10)进行自定位。 5.一种人脸面部表情捕捉方法， 其特征在于， 基于权利要求1 ‑4中任意一项的人脸面部 表情捕捉系统进行 人脸面部表情 捕捉的方法， 包括以下步骤： S1、 通过所述人脸面部表情捕捉装置(10)内不少于两个设置的图像采集传感器(11)采 集至少两个图像序列； S2、 通过所述面部特征点检测模块(20)对所述图像序列中每帧图像的人脸面部区域的 标记点和关键点进行检测， 进而得到人脸面部的二维标记点特征点集和人脸面部的二维关 键点特征点集； S3、 通过所述面部目标点跟踪模块(30)， 对所述人脸面部的二维标记点特征点集进行 跟踪， 进而得到在不同时刻以及不同视角下人脸面部的二维标记点特征点集的特定物理含 义； 在得到所述人脸面部的二维标记点特征点集的特定物理含义后， 对所述二维标记点特 征点集的特定物理含义进 行校验和修正， 进而得到具有准确物理含义的人脸面部的二维标 记点跟踪特 征点集； 所述面部目标点跟踪模块(30)对所述面部特征点检测模块(20)得到的二维标记点特 征点集与二 维关键点特征点集进 行不同视角的跟踪， 进而得到不同视角下不同时刻的同名 标识点； S4、 通过所述面部模板更新模块(40)， 对所述二维标记点跟踪特征点集和所述二维关 键点特征点集进行更新， 进而得到面部二维动态模板集； S5、 通过所述面部特征点定位模块(60)， 对所述二维标记点跟踪特征点集进行空间定 位计算， 获取面部二维标记点跟踪特征点集在第一坐标系 下的三维坐标； 同时对二维关键 点特征点集进 行空间定位计算， 获取面部二 维关键点跟踪 特征点集在第一坐标系下的三 维 坐标并进行 校验和修 正； S6、 通过所述面部模板更新模块(40)， 对所述面部二维标记点跟踪特征点集在第一坐 标系下的三维坐标和所述面部二维关键点跟踪特征点集在第一坐标系下的三维坐标进行 更新， 进而得到面部三维动态模板集； 所述面部模板更新模块(40)在首次更新时， 通过内置预设模板、 手工编辑或自动匹配 模板生成的方式， 分别得到面部二维标记点跟踪 特征点动态模板集和面部二 维关键点跟踪权　利　要　求　书 2/3 页 3 CN 115497148 A 3