(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210642584.7 (22)申请日 2022.06.08 (71)申请人 宇龙计算机通信科技 （深圳） 有限公 司 地址 518000 广东省深圳市南 山区西丽 街 道松坪山社区南山高新北区科苑大道 与宝深路交汇处酷派大厦A座21层 (72)发明人 左宇　 (74)专利代理 机构 北京集佳知识产权代理有限 公司 11227 专利代理师 王学强 (51)Int.Cl. G06F 16/2455(2019.01) G06F 16/25(2019.01) G06F 16/27(2019.01) (54)发明名称 一种数据仓库、 数据处 理系统及计算机装置 (57)摘要 本发明实施例提供了一种数据仓库、 数据处 理系统及计算机装置， 用于提升对流数据和历史 离线数据计算的便捷性。 本发明实施例中的数据 仓库包括： 数据来源、 数据存储模块和数据服务 模块， 数据存储模块包括第一数据存储装置和流 数据处理引擎中的至少一项； 数据服务模块包括 第一数据查询模块、 数据分析模块和第二数据查 询模块中的至少一项； 第一数据存储装置， 用于 对从数据来源获取到的实时数据进行持久化存 储； 第一数据查询模块用于对查询到的历史离线 数据进行显示； 数据分析模块用于对获取到的历 史离线数据进行分析显示； 流数据处理引擎用于 从流处理平台获取实时数据， 从第一数据存储装 置获取历史离线数据， 以对实时数据和历史离线 数据执行数据处理。 权利要求书2页 说明书10页 附图4页 CN 114860780 A 2022.08.05 CN 114860780 A 1.一种数据仓库， 其特 征在于， 包括： 数据来源、 数据存储模块和数据服务模块， 其中， 所述数据存储模块包括第 一数据存储 装置和流数据 处理引擎中的至少一项； 所述数据服务模块包括第一数据查询模块、 数据分 析模块和第二数据查询模块中的至少一项； 当所述数据存储模块包括所述第一数据存储装置时， 所述第一数据存储装置， 通过流 处理平台与所述数据来源通信连接， 以用于从所述数据来源获取实时数据， 并对所述实时 数据进行持久化存 储； 当所述数据服务模块包括所述第 一数据查询模块 时， 所述第 一数据查询模块与所述第 一数据存储装置通信连接， 所述第一数据查询模块用于在接 收到用户的第一查询请求时， 根据所述第一查询请求查询所述第一数据存储装置， 并对查询到的历史离线数据进行显 示， 其中， 所述第一 查询请求用于查询所述历史离线数据； 当所述数据服务模块包括所述数据分析模块 时， 所述数据分析模块与 所述第一数据存 储装置通信连接， 所述数据分析模块用于在接 收到用户的历史离线数据分析请求时， 根据 所述历史离线数据分析请求从所述第一数据存储装置获取历史离线数据并对获取到的历 史离线数据进行分析显示； 当所述数据存储装置包括所述流数据处理引擎， 所述数据服务模块包括所述第 二数据 查询模块时， 所述流数据 处理引擎用于从所述流处理平台获取实时数据， 从所述第一数据 存储装置获取历史离线数据， 以对所述实时数据和所述历史离线数据执行数据 处理， 并将 处理后的历史离线数据通过所述流处理平台写入所述第一数据存储装置， 将处理后的实时 数据写入所述第二数据查询模块； 所述第二数据查询模块用于接收用户的第 二查询请求， 并根据 所述第二查询请求对查 询到的实时数据进行显示， 其中， 所述第二 查询请求用于查询所述实时数据。 2.根据权利要求1所述的数据仓库， 其特征在于， 所述数据存储模块还包括第 二数据存 储装置， 所述第二数据存储装置通过所述流处理平台与所述数据来源通信连接， 所述第二 数据存储装置用于通过所述流处理平台从所述数据来源获取实时数据， 并将获取到的实时 数据执行持久化存 储， 以作为所述第一数据存 储装置中数据的备份数据。 3.根据权利要求1所述的数据仓库， 其特征在于， 所述数据来源包括业务系统的关系型 数据库、 终端埋点日志和线 上服务日志中的至少一种； 所述流处理平台包括Kafka流处理平 台； 所述第一数据存 储装置包括Cl ickhouse； 所述Clickhouse， 通过所述Kafka流处理平台分别与所述业务系统的关系型数据库、 所 述终端埋点日志和所述线上服务日志中的至少一个通信连接， 以获取所述关系型数据库、 所述终端埋 点日志和所述线上服 务日志中至少一项的实时数据。 4.根据权利要求3所述的数据仓库， 其特征在于， 所述Clickhouse包括贴源层ODS、 明细 数据表DWD和数据仓库服 务DWS； 其中， 所述贴源层ODS用于通过Clickhouse  connector从所述K afka流处理平台获取实 时数据， 并对所述实时数据执行抽取、 清洗转换和/或加载操作后， 永久写入所述明细数据 表DWD； 若所述明细数据表DWD接收到对永久写入数据的数据聚合和/或数据去重处理请求， 则 根据所述数据聚合和/或数据去重请求， 将所述永久写入数据写入数据仓库服务DWS的聚合权　利　要　求　书 1/2 页 2 CN 114860780 A 2表， 以用于对所述永久写入数据执 行聚合和/或去重处 理。 5.根据权利要求4所述的数据仓库， 其特征在于， 所述贴源层ODS、 明细数据表DWD和数 据仓库服务DWS中的表格采用相同的命名规则， 所述命名规则包括： 数据的来源层、 数据的 物化视图名、 主题域名和数据的去向层中的至少一项。 6.根据权利要求4所述的数据仓库， 其特征在于， 所述贴源层ODS、 所述明细数据表DWD 和所述数据仓库服务DWS， 都分别设置了online服务和replica服务， 其中， 所述online服务 用于接收用户的数据写入请求， 并根据所述数据写入请求对待写入数据执行实时写入， 所 述replica服务用于接收用户的数据读取请求， 并根据所述数据读取请求实时读取 数据； 所述online服务和所述repl ica服务还用于对双方的存 储数据执 行实时同步。 7.根据权利要求4所述的数据仓库， 其特征在于， 所述Clickhouse为服务集群， 所述处 理集群包括多个处理终端， 所述多个处理终端用于对从所述数据来源获取到的实时数据执 行分块并行处 理。 8.根据权利 要求1所述的数据仓库， 其特征在于， 所述流数据处理引擎包括Flink， 所述 Flink用于从所述明细数据 表DWD中获取历史离线数据， 并将处理后的历史离线 数据通过所 述Kafka流处 理平台存 储至所述Cl ickhouse； 所述Flink还用于从所述Kafk a流处理平台中获取实时数据， 并将处理后的实时数据存 储至所述第二数据存 储查询模块， 其中， 所述第二数据存 储查询模块包括Hbase 数据库。 9.根据权利要求1所述的数据仓库， 其特征在于， 所述第一数据查询模块包括 superset， 所述数据分析模块包括Druid数据处 理系统和Pivot可视化工具。 10.一种数据处 理系统， 其特 征在于， 包括如权利要求1至9中任一项所述的数据仓库。 11.一种计算机装置， 包括处理器和存储器， 其特征在于， 所述存储器中存储了如权利 要求1至9中任一项所述的数据仓库。权　利　要　求　书 2/2 页 3 CN 114860780 A 3