(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210335396.X (22)申请日 2022.03.31 (71)申请人 北京理工大 学 地址 100081 北京市海淀区中关村南大街5 号 (72)发明人 王琰　王崇文　郑治伟　张祎　 (74)专利代理 机构 北京高沃 律师事务所 1 1569 专利代理师 杜阳阳 (51)Int.Cl. G06V 20/52(2022.01) G06V 20/40(2022.01) G06V 40/10(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于教室监控视频的学生入座分布识 别方法及系统 (57)摘要 本发明的目的是提供一种基于教室监控视 频的学生入座分布识别方法及系统， 涉及视频信 息识别技术领域， 获取待测教室的监控视频； 提 取监控视频中的含人像视频帧和无人像视频帧； 将无人像视频帧输入到座位位置标注模型中， 得 到待测教室的座位位置标注数据； 根据座位位置 标注数据， 利用模拟算法确定待测教室的座位分 布图； 将含 人像视频帧输入到学生位置标注模型 中， 得到待测教室的学生位置标注数据； 根据座 位位置标注数据和学生位置标注数据， 利用点对 匹配法确定 学生‑座位对应关系； 根据学生 ‑座位 对应关系和座位分布图， 确定教室的学生入座分 布图， 提高了资源的利用率和确定学生入座分布 时的准确性。 权利要求书3页 说明书9页 附图3页 CN 114677644 A 2022.06.28 CN 114677644 A 1.一种基于教室监控视频的学生入座分布 识别方法， 其特 征在于， 包括： 获取待测教室的监控视频； 提取所述监控视频中的含人像视频帧和无人像视频帧； 所述含人像视频帧中的所有学 生均坐在座 位上； 将所述无人像视频帧输入到座位位置标注模型中， 得到所述待测教室的座位位置标注 数据； 所述座位位置标注模型是利用标注无人像历史视频帧， 对Yolov5神经网络进行训练 得到的； 根据所述 座位位置标注数据， 利用模拟算法确定待测教室的座 位分布图； 将所述含人像视频帧输入到学生位置标注模型中， 得到所述待测教室的学生位置标注 数据； 所述学生位置标注模型是利用标注含人像历史视频帧， 对Yolov5神经网络进行训练 得到的； 根据所述座位位置标注数据和所述学生位置标注数据， 利用点对匹配法确定学生 ‑座 位对应关系； 根据所述学生 ‑座位对应关系和所述 座位分布图， 确定教室的学生入座分布图。 2.根据权利要求1所述的一种基于教室监控视频的学生入座分布识别方法， 其特征在 于， 在所述获取待测教室的监控视频之前还 包括： 获取多个教室的历史监控视频； 提取每个历史监控视频中的无 人像历史视频帧， 得到的无 人像历史视频帧集 合； 对无人像历史视频帧集 合中的座 位进行标注， 得到标注无 人像历史视频帧集 合； 以无人像历史视频帧集合为输入， 以所述标注无人像历史视频帧集合的标注数据为期 望输出， 对Yo lov5神经网络进行训练， 得到座 位位置标注模型。 3.根据权利要求2所述的一种基于教室监控视频的学生入座分布识别方法， 其特征在 于， 在所述获取待测教室的监控视频之前还 包括： 提取每个历史监控视频中的含人像历史视频帧， 得到的含人像历史视频帧集 合； 对含人像历史视频帧集 合中的学生进行 标注， 得到标注含人像历史视频帧集 合； 以含人像历史视频帧集合为输入， 以所述标注含人像历史视频帧集合的标注数据为期 望输出， 对Yo lov5神经网络进行训练， 得到学生 位置标注模型。 4.根据权利要求3所述的一种基于教室监控视频的学生入座分布识别方法， 其特征在 于， 所述座位位置标注数据包括 座位检测框集 合及座位检测框数据集 合； 所述学生 位置标注数据包括学生检测框集 合及学生检测框数据集 合； 检测框数据集合中检测框数据包括检测框宽度、 检测框 高度和检测框中心在图像坐标 系下的位置坐标； 所述检测框数据集 合为座位检测框数据集 合或学生检测框数据集 合。 5.根据权利要求4所述的一种基于教室监控视频的学生入座分布识别方法， 其特征在 于， 所述根据所述 座位位置标注数据， 利用模拟算法确定待测教室的座 位分布图具体包括： 令区域号a＝1； 行 数b＝1； 列数c＝1； 确定座位检测框集 合中距离监控最近的座 位检测框为当前座 位检测框； 将当前座位检测框对应座位的分布坐标设置为(a,b,c)， 并将当前座位检测框标记为 已排列座 位检测框；权　利　要　求　书 1/3 页 2 CN 114677644 A 2以当前座位检测框宽度为平移距离， 将所述当前座位检测框沿位置横坐标方向， 向位 置横坐标减小的方向平 移， 得到座 位预测框； 分别确定每个未排列座位检测框与 所述座位预测框的交并比； 所述未排列座位检测框 为所述座位检测框集 合中除所述已排列座 位检测框之外的座 位检测框； 判断最大交并比是否大于交并比阈值， 得到第一判断结果； 若所述第一判断结果为是， 则确定所述最大交并比对应的未排列座位检测框为当前座 位检测框， 令c的数值增加1并返回步骤 “将当前座位检测框对应座位的分布 坐标设置为(a, b,c)， 并将当前座 位检测框标记为已排列座 位检测框 ”； 若所述第一判断结果为否， 则分别确定每个未排列座位检测框的中心坐标与分布坐标 (a,b,1)对应的已排列座 位检测框的中心坐标之间的距离； 判断最小距离是否小于距离阈值， 得到第二判断结果； 若所述第二判断结果为是， 则确定所述最小距离对应的未排列座位检测框为当前座位 检测框， 令b的数值增加1， 令c＝1， 并返回步骤 “将当前座位检测 框对应座位的分布坐标设 置为(a,b,c)， 并将当前座 位检测框标记为已排列座 位检测框 ” 若所述第 二判断结果为否， 则删除所述座位检测框集合中的已排列座位检测框； 令 a的 数值增加1， b＝ 1， c＝1， 并返回步骤 “确定座位检测框集合中距离监控最近的座位检测框为 当前座位检测框 ”直至所述座位检测框集合为空集合， 得到每个座位检测框对应座位的分 布坐标； 根据每个座位检测框对应座 位的分布坐标， 构建待测教室的座 位分布图。 6.根据权利要求5所述的一种基于教室监控视频的学生入座分布识别方法， 其特征在 于， 所述交并比的计算公式为： 其中， IOU表示交并比； A表示座位预测框的边框； B表示座位检测框集合中任一未排列 座位检测框的边框 。 7.根据权利要求4所述的一种基于教室监控视频的学生入座分布识别方法， 其特征在 于， 所述根据所述座位位置标注数据和所述学生位置标注数据， 利用点对匹配法确定学生 ‑ 座位对应关系具体包括： 分别在所述座位检测框集合中每个座位检测框的下边缘上标记一个基准点； 所述基准 点与所在座位检测框的左下角处顶点的距离随座位检测框中心的位置横坐标 的增大而增 大； 确定学生检测框集 合中任一学生检测框为当前 学生检测框； 分别确定当前 学生检测框右下角处顶点与每 个基准点的距离； 确定最小距离对应的座 位检测框检测到的座 位为坐有学生的座 位。 8.根据权利要求7所述的一种基于教室监控视频的学生入座分布识别方法， 其特征在 于， 在所述获取待测教室的监控视频之前， 还 包括： 对含人像历史视频帧集合中学生 ‑座位对应关系进行标注， 得到关系标注历史视频帧 集合； 根据所述标注无人像历史视频帧集合和所述标注含人像历史视频帧集合， 利用点对匹权　利　要　求　书 2/3 页 3 CN 114677644 A 3