(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210580467.2 (22)申请日 2022.05.25 (71)申请人 广州欢聚时代信息科技有限公司 地址 511442 广东省广州市番禺区南村镇 万博二路79 号万博商务区万达商业广 场北区B-1栋23层 (72)发明人 李保俊　 (74)专利代理 机构 广州利能知识产权代理事务 所(普通合伙) 44673 专利代理师 王增鑫 (51)Int.Cl. G06V 20/62(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 目标商品识别方法及其装置、 设备、 介质、 产 品 (57)摘要 本申请公开一种目标商品识别方法及其装 置、 设备、 介质、 产品， 所述方法包括： 获取目标商 品的商品信息中的商品标题及 商品图片； 提取所 述商品图片和商品标题的深层语义信息； 将所述 商品标题的深层语义信息融合至所述商品图片 的深层语义信息， 以根据所述商品标题的深层语 义信息突显出所述目标商品在所述商品图片的 深层语义信息中的图像特征， 获得图文融合特征 信息； 将所述图文融合特征信息输入至预先训练 至收敛的目标检测模型， 识别出所述目标商品。 本申请能够精准识别商品图片中的目标商品。 权利要求书2页 说明书13页 附图5页 CN 114898349 A 2022.08.12 CN 114898349 A 1.一种目标商品识别方法， 其特 征在于， 包括如下步骤： 获取目标商品的商品信息中的商品标题及商品图片； 提取所述商品图片和商品标题的深层语义信息； 将所述商 品标题的深层语义信 息融合至所述商 品图片的深层语义信 息， 以根据 所述商 品标题的深层语义信息突显出所述目标商品在所述商品图片的深层语义信息中的图像特 征， 获得图文融合特 征信息； 将所述图文融合特征信 息输入至预先训练至收敛的目标检测模型， 识别出所述目标商 品。 2.根据权利要求1所述的目标商 品识别方法， 其特征在于， 提取所述商品图片和商品标 题的深层语义信息的步骤中， 包括如下步骤： 预处理所述商品图片， 将预处理后的商 品图片输入至预先训练至收敛的图像特征提取 模型， 获得相应的深层语义信息， 用于表征 所述商品图片的图像特 征； 预处理所述商品标题， 将预处理后的商 品标题输入至预先训练至收敛的文本特征提取 模型， 获得相应的深层语义信息， 用于表征 所述商品标题的文本特 征。 3.根据权利要求2所述的目标商 品识别方法， 其特征在于， 预处理所述商 品标题的步骤 中， 包括如下步骤： 过滤所述商品标题中的无效字符； 对过滤后的商品标题进行分词， 获得其中的关键词， 所述关键词包括目标商品的产品 词和/或品牌词， 完成对所述商品标题的预处 理。 4.根据权利要求1所述的目标商 品识别方法， 其特征在于， 将所述商 品标题的深层语义 信息融合至所述商品图片的深层语义信息， 以根据所述商品标题的深层语义信息突显出所 述目标商品在所述商品图片的深层语义信息中的图像特征， 获得图文融合特征信息的步骤 中， 包括如下步骤： 采用多模态特征交互融合模块融合所述商品标题的深层语义信息和所述商品图片的 深层语义信息， 获得初步融合特征信息， 所述初步融合特征信息中显著表征所述 目标商品 的图像的特 征； 将所述初步融合特征信 息与所述商品图片的深层语义信 息结合， 获得图文融合特征信 息； 5.根据权利要求3所述的目标商 品识别方法， 其特征在于， 采用多模态特征交互融合模 块融合所述商品标题的深层语义信息和所述商品图片的深层语义信息， 获得初步融合特征 信息的步骤中， 包括如下步骤： 以所述商 品图片的深层语义信 息构造查询向量， 以所述商 品标题的深层语义信 息构造 键向量和值向量， 输入注意力层； 由所述注意力层将所述 查询向量与所述键向量进行交 互并归一 化， 获得权 重矩阵； 由所述注意力层将所述 值向量匹配所述权 重矩阵获得初步融合特 征信息。 6.根据权利要求1所述的目标商 品识别方法， 其特征在于， 将所述图文融合特征信 息输 入至预先训练至收敛的目标检测模型， 识别出 所述目标商品的步骤中， 包括如下步骤： 采用预先训练至收敛的目标检测模型根据所述图文融合特征信息检测所述商品图片 中的目标商品， 获得相应的检测区域；权　利　要　求　书 1/2 页 2 CN 114898349 A 2求取包围所述检测区域的最小面积的矩形框， 以其框 选出目标商品作为识别结果。 7.根据权利要求1所述的目标商 品识别方法， 其特征在于， 将所述图文融合特征信 息输 入至预先训练至收敛的目标检测模型， 识别出 所述目标商品的步骤之后， 还 包括如下步骤： 根据所述框选出目标商 品的矩形框从所述商 品图片中截取出目标商 品的图像， 将其关 联目标商品的唯一标识码存 储于商品数据库； 响应商品推荐请求， 根据目标商品的唯一标识码检索商品数据库获取目标商品的图 像， 匹配与其相似的推荐 商品； 应答所述商品推荐请求， 推送所述推荐 商品。 8.一种目标商品识别装置， 其特 征在于， 包括： 图文获取模块， 用于获取目标商品的商品信息中的商品标题及商品图片； 语义提取模块， 用于提取 所述商品图片和商品标题的深层语义信息； 特征融合模块， 用于将所述商 品标题的深层语义信 息融合至所述商 品图片的深层语义 信息， 以根据所述商品标题的深层语义信息突显出所述目标商品在所述商品图片的深层语 义信息中的图像特 征， 获得图文融合特 征信息； 目标识别模块， 用于将所述图文融合特征信息输入至预先训练至收敛的目标检测模 型， 识别出 所述目标商品。 9.一种计算机设备， 包括中央处理器和存储器， 其特征在于， 所述中央处理器用于调用 运行存储于所述存储器中的计算机程序以执行如权利要求1至7中任意一项所述的方法的 步骤。 10.一种计算机可读存储介质， 其特征在于， 其以计算机可读指令的形式存储有依据权 利要求1至7中任意一项 所述的方法所实现的计算机程序， 该计算机程序被计算机调用运行 时， 执行相应的方法所包括的步骤。权　利　要　求　书 2/2 页 3 CN 114898349 A 3