(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210563101.4 (22)申请日 2022.05.18 (71)申请人 上海师范大学天华学院 地址 201800 上海市嘉定区胜辛北路16 61 号 (72)发明人 凌旭峰　樊江玲　梁景新　赵艳妮　 (74)专利代理 机构 上海光华专利事务所(普通 合伙) 31219 专利代理师 徐秋平 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06V 10/778(2022.01) G06V 10/80(2022.01)G06K 9/62(2022.01) (54)发明名称 食品图像分类方法及系统、 存 储介质及终端 (57)摘要 本发明提供一种食品图像 分类方法及系统、 存储介质及终端， 包括以下步骤： 基于自监督学 习方法训练图像特征识别模型； 基于所述图像特 征识别模型提取食品图像的图像特征； 基于有监 督学习方法， 根据所述图像特征训练食品图像分 类模型； 将食品图像依次输入所述图像特征识别 模型和所述食品图像分类模型， 获取食品图像分 类结果。 本发明的食品图像分类方法及系统、 存 储介质及终端能够基于生成式自监督学习方法 提取食物图像特征， 以实现食物图像的识别和分 类。 权利要求书2页 说明书11页 附图4页 CN 114842266 A 2022.08.02 CN 114842266 A 1.一种食品图像分类方法， 其特 征在于， 包括以下步骤： 基于自监 督学习方法训练图像特 征识别模型； 基于所述图像特 征识别模型提取食品图像的图像特 征； 基于有监 督学习方法， 根据所述图像特 征训练食品图像分类模型； 将食品图像依次输入所述图像特征识别模型和所述食 品图像分类模型， 获取食 品图像 分类结果。 2.根据权利要求1所述的食 品图像分类方法， 其特征在于， 基于自监督学习方法训练图 像特征识别模型包括以下步骤： 将输入图像均分为多个图像块； 对每个所述图像块进行编码， 生成与所述图像块对应的编码值； 对所述多个图像块按照预设比例进行随机遮盖， 将遮盖后得到的图像块序列输入BEiT 模型， 获取遮盖的图像块的特 征向量； 将所述特 征向量输入MIM模型， 获取 所述特征向量的编码值； 获取所述遮盖的图像块的编码值与 特征向量的编码值的误差； 若所述误差不在预设范 围内， 调整所述BEiT模型和所述MIM模型的参数值， 直至所述误差在所述预设范围内， 并将 所述BEiT模型作为所述图像特 征识别模型。 3.根据权利要求2所述的食 品图像分类方法， 其特征在于， 对每个所述图像块进行编码 采用离散变分编码器， 所述离 散变分编码器用于将所述图像块 转换为离 散的编码值。 4.根据权利要求2所述的食品图像分类方法， 其特征在于， 所述BEiT模型的参数值包括 批次大小为32， 优化器选择Adm， 学习率为余弦优化方案， 热身周期为5， 层衰减为0.75， 下降 路径为0.2， 权 重衰减为0.0 5， 训练周期为20 0次。 5.根据权利要求2所述的食品图像分类方法， 其特 征在于， 所述预设比例为 40％。 6.根据权利要求1所述的食品图像分类方法， 其特征在于， 基于有监督学习方法， 根据 所述图像特 征训练食品图像分类模型包括以下步骤： 获取所述图像特 征识别模型提取的食品图像的图像特 征； 将所述图像特 征输入所述食品图像分类模型； 获取所述食品图像分类模型输出的食品图像分类结果； 若所述食品图像分类结果准确度未达到预设阈值， 调整所述食品图像分类模型的参 数， 直至所述食品图像分类结果 准确度达 到预设阈值。 7.根据权利要求6所述的食 品图像分类方法， 其特征在于， 所述食 品图像分类模型采用 全连接的MLP网络 。 8.一种食品图像分类系统， 其特征在于， 包括图像特征训练模块、 提取模块、 图像分类 训练模块和检测模块； 所述图像特 征训练模块用于基于自监 督学习方法训练图像特 征识别模型； 所述提取模块用于基于所述图像特 征识别模型提取食品图像的图像特 征； 所述图像分类训练模块用于基于有监督学习方法， 根据 所述图像特征训练食 品图像分 类模型； 所述检测模块用于将食品图像依次输入所述图像特征识别模型和所述食品图像分类 模型， 获取食品图像分类结果。权　利　要　求　书 1/2 页 2 CN 114842266 A 29.一种存储介质， 其上存储有计算机程序， 其特征在于， 该程序被处理器执行时实现权 利要求1至7中任一项所述的食品图像分类方法。 10.一种食品图像分类终端， 其特 征在于， 包括： 处 理器及存 储器； 所述存储器用于存 储计算机程序； 所述处理器用于执行所述存储器存储的计算机程序， 以使所述食 品图像分类终端执行 权利要求1至7中任一项所述的食品图像分类方法。权　利　要　求　书 2/2 页 3 CN 114842266 A 3