(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210904606.2 (22)申请日 2022.07.29 (65)同一申请的已公布的文献号 申请公布号 CN 114974309 A (43)申请公布日 2022.08.30 (73)专利权人 广州莱万科技股份有限公司 地址 510730 广东省广州市黄埔区科 学大 道286号201-1房 (72)发明人 张杰　 (74)专利代理 机构 广州帮专高智知识产权代理 事务所 (特殊普通合伙) 44674 专利代理师 颜德昊 (51)Int.Cl. G10L 25/60(2013.01)G10L 25/18(2013.01) G10L 25/21(2013.01) G06V 10/62(2022.01) G06Q 10/06(2012.01) G06T 7/13(2017.01) G06T 7/73(2017.01) (56)对比文件 CN 112597814 A,2021.04.02 CN 110991381 A,2020.04.10 CN 111757235 A,2020.10.09 CN 114679647 A,202 2.06.28 CN 114550740 A,202 2.05.27 CN 114120349 A,202 2.03.01 US 2021347382 A1,2021.1 1.11 审查员 林登樟 (54)发明名称 一种基于智能班牌的师生教学情况自动提 醒方法 (57)摘要 本发明提供了一种基于智能班牌的师生教 学情况自动提醒方法， 涉及信息处理技术领域， 包括每节课教室内摄像头获取到的图像信息和 拾音器采集到的音频信息； 将所述图像信息进行 学生位置比对和学生运动曲线模拟， 得到每个学 生的位置变化信息和运动曲线信息； 基于语音清 晰度算法对 所述第二信息进行语音清晰度计算， 得到老师讲课的语音清晰度值； 将所有学生的位 置变化信息、 所有学生的运动曲线信息和老师讲 课的语音清晰度值进行分析， 并基于分析结果发 送提醒信号。 本发明通过对师生教学情况进行评 分， 然后基于评分进行实时达标判断， 若实时判 断师生教学情况不合格， 则发送 提醒信息至智能 班牌上进行提醒， 大量减少人力物力， 并提高教 学质量。 权利要求书3页 说明书8页 附图2页 CN 114974309 B 2022.11.08 CN 114974309 B 1.一种基于智能班牌的师生教学情况自动提醒 方法， 其特 征在于， 包括： 获取第一信息和第二信息， 所述第一信息为每节课教室内摄像头获取到的图像信息， 所述第二信息为所有学生佩戴的拾音器采集到的音频信息； 基于所述第 一信息进行学生位置比对和学生运动曲线模拟， 得到每个学生的位置变化 信息和运动曲线信息； 将每帧图像内所有学生的头部图像的像素点和手部图像的像素点进行二值化处理， 得 到二值化的头部图像和手部图像； 将所述二值化的头部图像和手部图像依次进行膨胀处理和腐蚀处理， 得到去除噪声后 的二值化图像； 基于多元自适应回归样条算法对所述去除噪声后的二值化图像进行计算， 得到拟合曲 线的关键点信息； 将所有的所述拟合曲线的关键点信 息分别发送三维空间直角坐标系 进行坐标计算， 得 到所有的拟合曲线的关键点信息的坐标； 基于贝塞尔曲线对所有的拟合曲线的关键点信 息的坐标运动轨迹拟合， 得到每帧图像 内所有学生的头 部运动曲线和手部运动曲线； 基于语音清晰度算法对所述第 二信息进行语音清晰度计算， 得到老师讲课的语音清晰 度值； 将所有学生的位置变化信 息、 所有学生的运动曲线信 息和老师讲课的语音清晰度值进 行分析， 并基于分析 结果发送提醒信号。 2.根据权利要求1所述的基于智能班牌的师生教学情况自动 提醒方法， 其特征在于,基 于所述第一信息进行学生位置比对和学生运动曲线模拟， 得到每个学生的位置变化信息和 运动曲线信息， 包括： 基于所述第 一信息建立三维空间直角坐标系， 并确定每个学生在所述三维空间直角坐 标系内的位置， 得到每帧图像内所有学生的位置信息； 将相邻帧图像 内所有学生的位置信 息进行对比， 得到相邻帧图像 内所有学生的位置信 息的变化信息； 将所述第一信 息和所述三维空间直角坐标系 进行关键点处理， 并基于关键点处理得到 的所有学生的头部关键点图像和手部关键点图像确定每帧图像内所有学生的头部运动曲 线和手部运动曲线。 3.根据权利要求2所述的基于智能班牌的师生教学情况自动 提醒方法， 其特征在于， 基 于所述第一信息建立三维空间直角坐标系， 并确定每个学生在所述三维空间直角坐标系内 的位置， 得到每帧图像内所有学生的位置信息， 包括: 将所述第一信息内的图像信息进行边缘检测， 得到教室的边缘信息， 所述边缘信息为 教室的四个顶角信息和四个底角信息； 基于所述教室的边缘信息建立三维空间直角坐标系， 其中， 以所述边缘信息中任一底 角作为坐标原点， 建立 三维空间直角坐标系， 得到教室的三维空间模型； 将第一信息内的每帧图像信 息发送至所述教室的三维空间模型进行目标识别， 得到每 帧图像信息内所有学生的位置信息； 将所述每帧图像信息内学生的位置信息进行 标号， 得到标号后的学生 位置信息 。权　利　要　求　书 1/3 页 2 CN 114974309 B 24.根据权利要求1所述的基于智能班牌的师生教学情况自动 提醒方法， 其特征在于,基 于语音清晰度算法对所述第二信息进行语音清晰度计算， 得到老师讲课的语音清晰度值， 包括： 将所有学生佩戴的拾音器采集到的音频信息发送至IIR带通滤波器进行频率段划分， 得到至少两个频率段的音频信息； 将至少两个频率段的音频信 息和预设的老师音频信 息进行对比， 得到每个拾音器采集 到的老师的音频信息和噪声的音频信息； 基于语音清晰度算法对每个拾音器采集到的老师的音频信息和噪声的音频信息进行 计算， 得到每 个拾音器采集到的老师的音频信息的清晰度值； 将所有的清晰度值进行对比， 并将最小的清晰度值作为老师 讲课的语音清晰度值。 5.一种基于智能班牌的师生教学情况自动提醒装置， 其特 征在于， 包括： 获取单元， 用于获取第一信息和第二信息， 所述第一信息为每节课教室内摄像头获取 到的图像信息， 所述第二信息为所有学生佩戴的拾音器采集到的音频信息； 处理单元， 用于基于所述第一信息进行学生位置比对和学生运动曲线模拟， 得到每个 学生的位置变化信息和运动曲线信息； 处理单元包括第二处理子单元； 第二处理子单元包括第六处理子单元、 第七处理子单 元、 第一计算子单 元、 第二计算子单 元和第八处 理子单元； 第六处理子单元， 用于将每帧图像 内所有学生的头部图像的像素点和手部图像的像素 点进行二 值化处理， 得到二 值化的头部图像和手部图像； 第七处理子单元， 用于将所述二值化的头部图像和手部图像依次进行膨胀处理和腐蚀 处理， 得到去除噪声后的二 值化图像； 第一计算子单元， 用于基于多元自适应回归样条算法对所述去除噪声后的二值化图像 进行计算， 得到拟合曲线的关键点信息； 第二计算子单元， 用于将所有的所述拟合曲线的关键点信 息分别发送三维空间直角坐 标系进行坐标计算， 得到所有的拟合曲线的关键点信息的坐标； 第八处理子单元， 用于基于贝塞尔曲线对所有的拟合曲线的关键点信 息的坐标运动轨 迹拟合， 得到每帧图像内所有学生的头 部运动曲线和手部运动曲线； 计算单元， 用于基于语音清晰度算法对所述第二信息进行语音清晰度计算， 得到老师 讲课的语音清晰度值； 分析单元， 用于将所有学生的位置变化信息、 所有学生的运动曲线信息和老师讲课的 语音清晰度值进行分析， 并基于分析 结果发送提醒信号。 6.根据权利要求5所述的基于智能班牌的师生教学情况自动 提醒装置， 其特征在于， 所 述装置包括： 第一处理子单元， 用于基于所述第一信息建立三维空间直角坐标系， 并确定每个学生 在所述三维空间直角坐标系内的位置， 得到每帧图像内所有学生的位置信息； 第一对比子单元， 用于将相邻帧图像内所有学生的位置信息进行对比， 得到相邻帧图 像内所有学生的位置信息的变化信息； 第二处理子单元， 用于将所述第一信息和所述三维空间直角坐标系进行关键点处理， 并基于关键点处理得到的所有学生的头部关键点图像和手部关键点图像确定每帧图像内权　利　要　求　书 2/3 页 3 CN 114974309 B 3