(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210346755.1 (22)申请日 2022.04.02 (71)申请人 广东工业大 学 地址 510090 广东省广州市越秀区东 风东 路729号 (72)发明人 管贻生　梁鸿泽　何力　 (74)专利代理 机构 广州粤高专利商标代理有限 公司 44102 专利代理师 禹小明 (51)Int.Cl. G06V 20/52(2022.01) G06V 10/82(2022.01) G06V 20/40(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于弱监督的物体计数神经网络训练 方法和计数方法 (57)摘要 本发明提供了一种基于弱监督的物体计数 神经网络训练方法和计数方法， 涉及弱监督学习 技术领域。 所述训练方法包括步骤： S1、 利用训练 样本图像对初始的神经网络进行不完全监督训 练， 得到不完全监督的神经网络； S2、 利用训练样 本图像中的识别对象数量对不完全监督的神经 网络进行不精确监督训练， 得到物体计数神经网 络； 与单纯的不完全监督、 不精确监督相比， 向神 经网络输入了更多的监督信息， 在保证计数精度 的前提下， 减少单个图片 的标注工作量、 不易漏 检识别精度高。 权利要求书2页 说明书6页 附图4页 CN 114898283 A 2022.08.12 CN 114898283 A 1.一种基于弱监 督的物体 计数神经网络训练方法， 其特 征在于， 包括 步骤： S1、 利用训练样本图像对初始的神经网络进行不完全监督训练， 得到不完全监督的神 经网络； S2、 利用训练样本图像 中的识别对象数量对不完全监督的神经网络进行不精确监督训 练， 得到物体 计数神经网络 。 2.根据权利要求1所述的一种基于弱监督的物体计数神经网络训练方法， 其特征在于， 步骤S1所述 不完全监 督训练的方法为： S11、 获取训练样本图像以及 初始的神经网络； S12、 利用初始的神经网络对训练样本图像生成第一热图， 针对第 一热图中的标注框区 域生成第一热图真值； S13、 循环地利用第一热图和第一热图真值计算第一损失值， 根据第一损失值更新初始 的神经网络权重， 直到网络能够检测出所有已经标注的标记框， 从而得到不完全监督的神 经网络。 3.根据权利要求2所述的一种基于弱监督的物体计数神经网络训练方法， 其特征在于， 步骤S12所述第一热图真值的计算方法为： (x， y)∈{x， y∈R： xi1≤x≤xi2 and yi1≤y≤yi2} 其中， Iti为第一热图真值， 第i个标注框的左上角坐标为(xi1， yi1)、 右下角坐标为(xi2， yi2)、 高为hi、 宽为wi， 步骤S13所述第一损失值的计算方法为： 其中Ipi、 Iti分别为第一热图在对应方框i中的预测值、 第一热图真值； k为该训练样本图 像中的标注框数量。 4.根据权利要求3所述的一种基于弱监督的物体计数神经网络训练方法， 其特征在于， 步骤S2所述 不精确监 督训练的方法为： S21、 获取已经完成不完全监督训练的不完全监督的神经网络， 不完全监督的神经网络 对训练样本图像生成第二热图； S22、 对第二热图进行顶 帽滤波然后进行阈值化， 获得一系列初 始斑块， 表示为B＝{be， e ＝1， 2， 3， . ..， m}； S23、 计算初始斑块的面积和均值， 依据初始斑块的面积和均值对所有的初始斑块进行 排序， 按照从大到小的顺序， 将热图斑块划分为两类： 排序前n个斑块为第一斑块集合Bf＝ {bf， f＝1， 2， 3， ...， n}， 其中n为当前训练样本图像中的识别对象的数量， 排序后m ‑n个斑块 为第二斑块 集合Bg＝{bg， g＝n+1， n+2， . ..， m}； S24、 计算Bg的虚检损失， 并计算Bf和Bg的gap损失； S25、 损失函数利用第一损失值、 虚检损失和g ap损失计算第二损失值；权　利　要　求　书 1/2 页 2 CN 114898283 A 2S26、 判断是否达到指定的迭代步数， 若未达到迭代步数， 则根据第二损失值更新不完 全监督的神经网络的权重， 然后返回步骤S21对不完全监督的神经网络进 行迭代训练； 若达 到迭代步数， 则停止迭代， 保存神经网络作为物体 计数神经网络； 其中， 步骤S23当前训练样本图像中的识别对象的数量是通过对训练样本进行粗粒度 标记得到的。 5.根据权利要求4所述的一种基于弱监督的物体计数神经网络训练方法， 其特征在于， 步骤S22所述顶帽滤波的计算方法为： 其中e为结构元， 所述结构元为圆形； I 为第二热图。 6.根据权利要求4所述的一种基于弱监督的物体计数神经网络训练方法， 其特征在于， 步骤S24中计算Bg的虚检损失的方法为： 其中， bg为第一斑块 集合Bg中的斑块； 步骤S24计算Bf和Bg的gap损失的方法为： 7.根据权利要求6所述的一种基于弱监督的物体计数神经网络训练方法， 其特征在于， 步骤S25中所述损失函数为： L(P， T， n)＝α Lreg(P， T)+β Lgap(Bf， Bg)+γLfp(Bg) 其中， α 、 β 、 γ分别为损失函数中三个损失项的系数。 8.一种基于弱监督的物体计数方法， 其特征在于， 采用权利要求1 ‑7任一项所述的训练 方法得到的物体计数神经网络对图片 中物体计数， 具体为： 将待识别图像输入物体计数神 经网络， 物体 计数神经网络 输出待识别图像中识别对象的数量。 9.根据权利要求8所述的一种基于弱监督的物体计数方法， 其特征在于， 所述待识别图 像和训练样本图像中的识别对象为同一类物体。 10.根据权利要求8所述的一种基于弱监督的物体计数方法， 其特征在于， 步骤S1所述 初始的神经网络为FCN神经网络或U ‑Net神经网络 。权　利　要　求　书 2/2 页 3 CN 114898283 A 3