(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210515118.2 (22)申请日 2022.05.11 (71)申请人 上海任意门科技有限公司 地址 201203 上海市浦东 新区中国(上海) 自由贸易试验区碧波路690号3幢203- 03室 (72)发明人 李腾　张璐　陶明　陈炜鹏　 (74)专利代理 机构 北京市金杜律师事务所 11256 专利代理师 张平 (51)Int.Cl. G06V 20/40(2022.01) G06V 20/62(2022.01) G06V 10/764(2022.01) G06V 10/77(2022.01)G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 用于生成用户生 成内容的标签的方法、 设备 和介质 (57)摘要 本公开的实施例涉及一种用 于生成用户生 成内容的标签的方法、 设备和介质， 包括： 获取用 户生成内容对应的内容数据； 将所 获取的内容数 据分类为第一内容数据以及第二内容数据； 基于 第一内容分析工具提取所述第一内容数据的第 一特征并且基于第二内容分析工具提取所述第 二内容数据的第二特征； 将所述第一特征以及所 述第二特征交互， 从而获取交互的第三特征； 以 及根据所述内容数据的时间相关性， 基于所述第 一特征、 所述第二特征以及所述第三特征生成用 户生成内容的标签 。 权利要求书2页 说明书9页 附图3页 CN 114792406 A 2022.07.26 CN 114792406 A 1.一种用于生成用户生成内容的标签的方法， 包括： 获取用户生成内容对应的内容数据； 将所获取的内容数据分类为第一内容数据以及第二内容数据； 基于第一内容分析工具提取所述第一内容数据的第一特征并且基于第二内容分析工 具提取所述第二内容数据的第二特 征； 将所述第一特 征以及所述第二特 征交互， 从而获取交 互的第三特 征； 以及 根据所述内容数据的时间相关性， 基于所述第一特征、 所述第二特征以及所述第三特 征生成用户生成内容的标签。 2.根据权利要求1所述的方法， 其中将所获取的内容数据分类为第一内容数据以及第 二内容数据包括： 将所分类的第 二内容数据确定为图像数据、 包括多个图像的图像数据集以及视频数据 中的一类。 3.根据权利要求2所述的方法， 其中基于第二内容分析工具提取所述第二内容数据的 第二特征包括： 响应于所述第二内容数据为图像数据， 将所述图像数据输入至卷积神经网络； 基于神经网络学习， 抽取 出图像特 征； 以及 对所抽取 出的图像特 征执行降维处 理， 从而获取第二特 征。 4.根据权利要求2所述的方法， 其中基于第二内容分析工具提取所述第二内容数据的 第二特征包括： 响应于所述第 二内容数据为包括多个图像的图像数据集， 将所述图像数据集按批次输 入至卷积神经网络； 基于神经网络学习， 抽取 出多个图像特 征； 获取对应于多个图像的图像权 重； 以及 对所抽取出的多个图像特征执行降维处理并且基于所获取的图像权重执行融合， 从而 获取第二特 征。 5.根据权利要求2所述的方法， 其中基于第二内容分析工具提取所述第二内容数据的 第二特征包括： 响应于所述第 二内容数据为视频数据， 将视频数据根据 所述内容数据的时间相关性执 行抽帧处 理， 从而获取多帧图像数据； 将所获取的多帧图像数据输入至卷积神经网络； 基于神经网络学习， 抽取 出多个图像特 征； 以及 对所抽取 出的多个图像特 征执行降维处 理并且执 行融合， 从而获取第二特 征。 6.根据权利要求1所述的方法， 其中将所述第一特征以及所述第二特征交互从而获取 交互的第三特 征包括： 将第一特 征和第二特 征相联结， 得到融合特 征； 将所述融合特 征输入至图神经网络； 以及 获取图神经网络 输出的特 征向量， 从而作为交 互的第三特 征。 7.根据权利要求1所述的方法， 其中根据所述内容数据的时间相关性基于所述第一特 征、 所述第二特 征以及所述第三特 征生成用户生成内容的标签包括：权　利　要　求　书 1/2 页 2 CN 114792406 A 2针对所述第 一特征、 所述第 二特征以及所交互的第 三特征， 分别设置第 一权重、 第二权 重以及第三权 重； 基于所述内容数据的时间相关性， 调整所述第一权重、 第二权重以及第三权重之间的 关系； 以及 基于所调整的第一权重、 第二权重以及第三权重， 利用多模态融合标签生成器生成用 户生成内容的标签。 8.根据权利要求7所述的方法， 其中基于所述内容数据的时间相关性调整所述第一权 重、 第二权 重以及第三权 重之间的关系包括： 基于所述内容数据的时间相关性， 确定搜索内容数据为 时间信息强依赖数据和时间信 息弱依赖数据； 响应于所述内容数据为时间信息强依赖数据， 提升所述第二权 重； 以及 响应于所述内容数据为时间信息弱依赖数据， 提升所述第一权 重。 9.一种计算设备， 包括： 至少一个处 理器； 以及 与所述至少一个处 理器通信连接的存 储器； 所述存储器存储有可被所述至少一个处理器执行的指令， 所述指令被所述至少一个处 理器执行， 以使所述至少一个处 理器能够执 行权利要求1 ‑8中任一项所述的方法。 10.一种存储有计算机指令的非瞬时计算机可读存储介质， 其中所述计算机指令用于 使所述计算机执 行权利要求1 ‑8中任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 114792406 A 3