(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211071859.2 (22)申请日 2022.09.02 (71)申请人 浙江工业大 学 地址 310014 浙江省杭州市拱 墅区潮王路 18号 (72)发明人 陈启蕾　牛洪阔　唐良平　周方琪　 闻靖予　龙胜春　 (74)专利代理 机构 杭州浙科专利事务所(普通 合伙) 33213 专利代理师 沈渊琪 (51)Int.Cl. G06F 3/01(2006.01) G06V 40/20(2022.01) G06V 40/10(2022.01) G06V 20/40(2022.01)G06V 10/764(2022.01) G06V 10/82(2022.01) G06T 7/73(2017.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于手势识别的电梯空间按键方法 (57)摘要 一种基于手势识别的电梯空间按键方法， 包 括以下步骤： 1)建立手势模型分类器， 将一个连 续的手势动作拆 分为一组连续的手型， 并每一帧 图片的手部关键点转化为手型信息； 再将手型信 息与相应的电梯控制功能一一对应； 2)摄像头获 取当前帧的图像， 首先调用基于Mediapipe框架 的关键点标定模 型对图像进行处理， 然后比对睡 眠计时与其人为设定的上限值， 如果睡眠计时已 经到达其上限则进入睡眠状态； 否则， 接下来通 过关键点标定模型返回的关键点作为模型的输 入来对手势进行识别。 本发明具有较好的准确 性、 实用性、 卫 生与安全性。 权利要求书2页 说明书4页 附图2页 CN 115454239 A 2022.12.09 CN 115454239 A 1.一种基于手势 识别的电梯空间按键方法， 其特 征在于， 包括以下步骤： )建立手势模型分类器， 将一个连续的手势动作拆分为一组连续的手型， 并每一帧图片 的手部关键点 转化为手型信息； 再将手型信息与相应的电梯控制功能一 一对应； 2)摄像头获取当前帧的图像， 首先调用基于Mediapipe框架的关键点标定模型对图像 进行处理， 然后比对睡眠计时与其人为设定的上限值， 如果睡眠计时已经到达其上限则进 入睡眠状态； 否则， 接下来通过关键点标定模型返回的关键点作为模型 的输入来对手势进 行识别。 2.如权利要求1所述的一种基于手势识别的电梯空间按键方法， 其特征在于， 所述步骤 2)中， 程序启动后， 摄像头获取当前帧的图像， 调用Mediapipe处理图像得到每一帧输入视 频中的手部特 征， 即每只手的21个关键点的三维坐标， 过程如下： 步骤2.1.1、 Mediapipe  Hands解决方案中， 对视频流图像的第一帧， 先通过一个手掌检 测器来确定手掌的位置， 并对原图进 行裁剪以获得手掌所在的较小的图像作为手部 关键点 标定模型的输入 步骤2.1.2、 对第二帧的处理过程中， 直接从第一帧的手部关键点坐标信息中预测中导 出一个边界框作为当前帧的手掌所在位置； 步骤2.1.3、 在对整个图像进行手掌检测或基于前一帧的手部关键点信息获取手所在 区域之后， 手部关键点标定模型通过回归,即直接坐标预测在之前检测到的手部区域内精 确定位21个3D手部骨骼关键点 坐标。 3.如权利要求1或2所述的一种基于手势识别的 电梯空间按键方法， 其特征在于， 所述 步骤2)中， 根据得出的首部 关键点信息， 对关键点数据预 处理， 使用建立好的手势分类器模 型分析数据， 得出手势判定结果， 过程如下： 步骤2.2.1、 将每个关键点的x轴数据和y轴数据与手腕部位的关键点的轴信息和轴信 息做差， 得到所有关键点相对于手腕关键点的相对坐标； 步骤2.2.2、 BP神经网络的输入层节点数为63， 输出层节点数为7， 采用试错法来进行调 整模型的隐层个数： 学习速率在(0， 1)之间调整， 损失函数确定为Sigmo id函数； 步骤2.2.3、 使用BP神经网络模型计算 正向传播， 计算各层节点的输出 计算网络的实际输出与期望 输出的误差 步骤2.2.4、 使用BP神经网络模型计算反响传播， 求回传误差： 从输出层方向计算到第 一个隐层， 按连接权值修正公式向减小误差方向调整网络的各个weight， 用损失函数E来度 量误差， 找到损失函数的最小值 点； 步骤2.2.5、 直到N组输入输出样本的误差 达到要求时为止； 步骤2.2.6、 对于模型最后识别结果的判定， 将所有输出节点的数值进行归一化， 提取权　利　要　求　书 1/2 页 2 CN 115454239 A 2其中归一 化后占比达 到70％以上的手势作为 最后的结果。权　利　要　求　书 2/2 页 3 CN 115454239 A 3