说明:收录全文最新的团体标准 提供单次或批量下载
(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210632895.5 (22)申请日 2022.06.07 (71)申请人 上海比升互联网技 术有限公司 地址 201799 上海市青浦区外 青松公路 5045号508室B区21号 (72)发明人 吴俊峰  (74)专利代理 机构 上海专益专利代理事务所 (特殊普通 合伙) 31381 专利代理师 方燕娜 王雯婷 (51)Int.Cl. G06F 16/242(2019.01) G06F 16/2455(2019.01) G06F 16/27(2019.01) G06F 16/906(2019.01) (54)发明名称 一种基于模型构建的数据打标 方法 (57)摘要 本发明涉及数据打标技术领域, 具体地说是 一种基于模 型构建的数据打标方法。 一种基于模 型构建的数据打标方法, 打标方法包括如下: S1, 元数据维护阶段; S2, 标签定义维护阶段; S3, 标 签任务执行阶段; S4, 标签服务阶段。 同现有技术 相比, 提供一种基于模型构建的数据打标方法, 无需开发人员进行代码开发的工作即可生成标 签数据, 数据打标能力可 以面向非技术人员, 直 接开放给业务人员编辑标签规则, 后台自动转化 成标签任务 生成标签, 省去业 务和开发沟通。 权利要求书2页 说明书17页 附图4页 CN 114969094 A 2022.08.30 CN 114969094 A 1.一种基于模型构建的数据打标 方法, 其特 征在于: 所述的打标 方法包括如下: S1, 元数据维护阶段: 将需要打标的实体类型, 以及建立实体OneID数据体系, 这部分工 作是后面标签生成的基础; S2, 标签定义维护阶段: 需要根据业务场景将标签的名称、 编码、 生成规则和标签生成 周期定义 好; S3, 标签任务执行阶段: 大数据平台会根据S2 阶段的标签定义通过规则引擎将标签生 成规则解析成任务脚本, 并生成相对应的任务, 按照标签生成周期执行该任务生成标签数 据; S4, 标签服务阶段: 将S3阶段生成的标签数据通过API的方式提供服务给外部应用使 用。 2.根据权利要求1所述的一种基于模型构建的数据打标方法, 其特征在于: 所述的建立 实体OneID数据体系是对需要打标的实体进行 数据模型构建。 3.根据权利要求1或2所述的一种基于模型构建的数据打标方法, 其特征在于: 所述的 实体类型包括实时性要求高的数据及实时性要求低的数据, 对于实时性要求高的数据, 采 用 CDC的方式, 通过Kafaka读取源数据库的日志, 再通过Flink处理加工, 直接存入标签元 数据体系中; 对于实时性要求低, 但是需要对大批量数据需要通过批处理, 每天通过集 成工 具Datax将历史数据批量同步到离线数仓的ODS层, 之后通过sql任务流的方式将ODS层的数 据处理好存到DW层, 形成 明细层数据和聚合层数据, 再通过s ql任务流利用DW的数据面向业 务场景进行加工形成DM层数据。 4.根据权利要求1所述的一种基于模型构建的数据打标方法, 其特征在于: 所述的标签 的规则包括左手元和右手元; 左手元 是条件, 右手元 是结果。 5.根据权利要求1所述的一种基于模型构建的数据打标方法, 其特征在于: 所述的标签 的定义方法如下: S21, 标签 类目维护; S22, 标签定义维护; S23, 标签分层定义维护; S24, 标签分层规则维护。 6.根据权利要求1所述的一种基于模型构建的数据打标方法, 其特征在于: 所述的标签 引擎执行过程如下: S31, 读取 标签定义信息; S32, 获取 标签分层规则 信息; S33, 解析标签分层规则层任务脚本; S34, 调度任务执 行引擎执 行脚本; S35, 保存任务执行结果到标签库。 7.根据权利要求1所述的一种基于模型构建的数据打标方法, 其特征在于: 所述的标签 的使用场景包括普通标签查询应用场景、 对象分群查询应用场景。 8.根据权利要求7所述的一种基于模型构建的数据打标方法, 其特征在于: 所述的普通 标签查询应用场景 过程如下: S411, 接受应用的标签信息查询请求;权 利 要 求 书 1/2 页 2 CN 114969094 A 2S412, 通过 条件过滤标签库的标签; S413, 返回标签信息 到应用。 9.根据权利要求7所述的一种基于模型构建的数据打标方法, 其特征在于: 所述的对象 分群查询应用场景 过程如下: S421, 接受应用的分群请求; S422, 根据分群信息过 滤标签库数据, 形成对应数据集; S423, 执行多个数据集的归并运 算; S424, 生成最终的分群数据集; S425, 返回分群数据到应用。权 利 要 求 书 2/2 页 3 CN 114969094 A 3

.PDF文档 专利 一种基于模型构建的数据打标方法

文档预览
中文文档 24 页 50 下载 1000 浏览 0 评论 309 收藏 3.0分
温馨提示:本文档共24页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
专利 一种基于模型构建的数据打标方法 第 1 页 专利 一种基于模型构建的数据打标方法 第 2 页 专利 一种基于模型构建的数据打标方法 第 3 页
下载文档到电脑,方便使用
本文档由 人生无常 于 2024-03-18 00:10:14上传分享
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们微信(点击查看客服),我们将及时删除相关资源。