(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210593117.X (22)申请日 2022.05.27 (71)申请人 深圳数联天下智能科技有限公司 地址 518000 广东省深圳市南 山区粤海街 道高新区社区高新南七道20号深圳国 家工程实验室大楼B16 01 (72)发明人 陈仿雄　 (74)专利代理 机构 深圳市六加知识产权代理有 限公司 4 4372 专利代理师 唐梦云 (51)Int.Cl. G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 训练服装分类模 型的方法、 服装分类方法及 相关装置 (57)摘要 本申请实施例涉及图像处理技术领域， 公开 了一种训练服装分类模型的方法、 服装分类方法 及相关装置， 获取训练集， 训练集包括多个衣服 图像和文本信息。 对每个文本信息进行编码， 得 到文本编码特征。 将各衣服图像和对应的文本编 码特征对第一神经网络进行迭代训练， 将收敛后 的第一神经网络作为服装分类模 型。 基于文本信 息包括衣服描述， 采用多个衣服图像和对应的文 本信息对第一神经网络进行训练， 第一神经网络 能学习到衣服图像所反映的图像特征和文本信 息所反映的文本特征， 文本特征能够辅助第一神 经网络学习到在服装分类上更具有代表性的图 像特征， 从而， 使得服装分类模型所提取的图像 特征在服装分类上具有代表性性， 能够提升服装 分类的准确度。 权利要求书2页 说明书13页 附图5页 CN 114821244 A 2022.07.29 CN 114821244 A 1.一种训练服装分类模型的方法， 其特 征在于， 包括： 获取训练集， 所述训练集包括多个衣服图像和与 所述多个衣服图像一一对应的文本信 息， 所述文本信息包括衣服描述， 各 所述衣服图像分别标注有真实服装类别； 对每个所述文本信息进行编码， 得到文本编码特 征； 将所述衣服图像和与 所述衣服图像对应的文本编码特征输入第 一神经网络， 得到与 所 述衣服图像对应的第一预测服装类别； 根据所述训练集对应的第一预测服装类别和所述训练集对应的真实服装类别之间的 差异， 调整 所述第一神经网络的参数， 直至收敛， 将收敛后的第一神经网络作为所述服装分 类模型。 2.根据权利要求1所述的方法， 其特征在于， 所述对每个所述文本信息进行编码， 得到 文本编码特 征， 包括： 采用词嵌入算法将所述文本信息中的各词语向量 化， 得到向量列表； 对所述向量列表进行 特征提取， 得到所述文本编码特 征。 3.根据权利要求2所述的方法， 其特征在于， 对所述向量列表进行特征提取， 得到所述 文本编码特 征， 包括： 采用多层感知机模块对所述向量列表进行 特征提取， 得到所述文本编码特 征。 4.根据权利要求3所述的方法， 其特征在于， 所述第 一神经网络包括依次级联的卷积模 块、 融合模块、 全连接层和分类层； 所述将所述衣服图像和与 所述衣服图像对应的文本编码特征输入第 一神经网络， 得到 与所述衣服图像对应的第一预测服装类别， 包括： 将所述衣服图像输入所述卷积模块进行 下采样特 征提取， 得到衣服特 征图； 所述衣服特征图和所述文本编码特征输入所述融合模块进行特征融合， 得到融合特征 图； 所述融合特 征图经所述全连接层和所述分类层后， 输出 所述第一预测服装类别。 5.根据权利要求4所述的方法， 其特征在于， 所述融合模块采用以下公式对所述衣服特 征图和所述文本编码特 征进行特征融合； F(x,e)＝α *x+β α ＝MLP1(e)； β ＝MLP2(e) 其中， x为所述衣服特征图， e为所述向量列表， α为所述衣服图像对应的一个文本编码 特征， β 为所述衣服图像对应的另一个文本编码特 征。 6.根据权利要求1 ‑5任意一项所述的方法， 其特 征在于， 所述方法还 包括： 将所述衣服图像输入第二神经网络， 得到与所述衣服图像对应的第二预测服装类别， 其中， 所述第二神经网络的深度小于所述第一神经网络的深度； 采用损失函数计算损失， 并根据所述损失调整所述第 一神经网络和所述第 二神经网络 的参数， 直至收敛， 将收敛后的第二神经网络作为所述 服装分类模型； 其中， 所述损 失函数包括蒸馏损 失和分类损 失， 所述蒸馏损 失反映所述第一神经网络 输出的中间特征图和所述第二神经网络输出的中间特征图之间的差异， 所述分类损失反映 所述第一预测服装类别、 所述第二预测服装类别和所述真实服装类别之间的差异。 7.根据权利要求6所述的方法， 其特 征在于， 所述损失函数包括：权　利　要　求　书 1/2 页 2 CN 114821244 A 2其中， 其中， 为所述蒸馏损 失， L1‑s为所述分类损失， 为所述第一神经网络 对应的中间特征图， Gs为所述第二神经网络对应的中间特征图， nL表示第L大小的中间特征 图的数量， 表示第一神经网络中对应第L大小的第i张特征图的网络参数， 表示第二 神经网络中对应第L大小的第i 张特征图的网络参数， n表示服装类别的总个数,yi表示真实 服装类别中第i类的概率值， 表示第一神经网络 预测第i类的概率值， 表示第二神经网 络预测第i类的概 率值。 8.一种服装分类方法， 其特 征在于， 包括： 采用服装分类模型对待分类的衣服图像进行服装类别识别， 得到对应的服装类别， 其 中， 所述服装分类模型采用如权利要求1 ‑7中任意一项训练服装分类模型的方法训练得到 。 9.一种电子设备， 其特 征在于， 包括： 至少一个处 理器， 以及 与所述至少一个处 理器通信连接的存 储器， 其中， 所述存储器存储有可被所述至少一个处理器执行的指令， 所述指令被所述至少一个处 理器执行， 以使所述至少一个处 理器能够执 行权利要求1 ‑8任一项所述的方法。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质存储有计算机可 执行指令， 所述计算机可执行指令用于使计算机设备执行如权利要求1 ‑8任一项所述的方 法。权　利　要　求　书 2/2 页 3 CN 114821244 A 3