(19)国家知识产权局
(12)发明 专利
(10)授权公告 号
(45)授权公告日
(21)申请 号 202211134582.3
(22)申请日 2022.09.19
(65)同一申请的已公布的文献号
申请公布号 CN 115203750 A
(43)申请公布日 2022.10.18
(73)专利权人 杭州比智科技有限公司
地址 311121 浙江省杭州市余杭区仓前街
道仓兴路1号23幢2-4楼
(72)发明人 南金豆
(74)专利代理 机构 北京云科知识产权代理事务
所(特殊普通 合伙) 11483
专利代理师 张飙
(51)Int.Cl.
G06F 21/62(2013.01)
G06F 16/242(2019.01)G06F 8/41(2018.01)
(56)对比文件
CN 114168930 A,2022.03.11
CN 114896584 A,202 2.08.12
CN 114861229 A,2022.08.05
US 2016098573 A1,2016.04.07
CN 108959867 A,2018.12.07
陆艳军等.大 数据平台访问控制方法的设计
与实现. 《信息安全研究》 .2016,(第10期),
审查员 岳孟果
(54)发明名称
基于Hive插件对Hive数据权限管控及安全
审计方法及系统
(57)摘要
本发明公开了一种基于Hive插件对Hive数
据权限管控及安全审计方法及系统, 包括如下步
骤: S1.Hive请求通过JDBC连接或ODBC连接进入
Hive集群中, 连接到Thirft服务器 (用于链接管
理) , 然后进去到Hive驱动模块中; S2.在Hive驱
动模块2中,依次进行抽象语 法树解析、 逻辑优化
器优化、 物理执行计划生成与优化、 权 限校验和
提交到yarn运行; S3.HQL执行成功以后, 异步通
知到Admin服务器中; 通过Antrl4来解析SQL, 获
取HQL的操作类型、 表和字段; S4.对于操作类型
为创建表的情况, 则授予创建人全部的表权 限;
S5.更改完策略以后, 策略信息保存到mysql中,
同时添加标识标记该策略已经变更; Hive插件定
时拉取策略, 根据变更标识来刷新Hive插件中缓
存。
权利要求书2页 说明书7页 附图1页
CN 115203750 B
2022.12.16
CN 115203750 B
1.一种基于Hive插件对Hive数据权限管控及安全审计方法, 其特征在于, 所述方法包
括如下步骤:
S1.Hive请求通过JDBC连接或ODBC连接进入Hive集群中, 连接到Thirft服务器, 然后 进
去到Hive驱动模块中;
S2.在Hive驱动模块中,依次进行抽象语法树解析、 逻辑优化器优化、 物理执行计划生
成与优化、 权限校验和提交到集群yarn 运行;
S3.HQL执行成功以后, 异步通知到Admin服务器中; 通过Antrl4来解析SQL, 获取HQL的
操作类型、 表和字段;
S4.对于操作类型为创建表的情况, 则授予创建人全部的表权限; 若是操作类型为删除
表, 则变更表策略去掉策略中被删除的表;
S5.更改完策略以后, 策略信息保存到mysql中, 同时添加标识标记该策略已经变更;
Hive插件定时拉取 策略, 根据变更 标识来刷新Hive插 件中缓存。
2.根据权利要求1所述的一种基于Hive插件对Hive数据权限管控及安全审计方法, 其
特征在于, 步骤S2中, 权限校验是指调用鉴权插件接口来判断用户的操作, 鉴权结束需要将
审计日志同步到服 务器中; 鉴权流 程包括如下子步骤:
S21.检验是否有表的操作权限;
S22.校验是否有字段的查询权限;
S23.审计权限校验日志。
3.根据权利要求2所述的一种基于Hive插件对Hive数据权限管控及安全审计方法, 其
特征在于, 步骤S3中, 解析流 程包括如下子步骤:
S31.使用词法分析器生成To ken序列;
S32.使用语法分析器将Token序列串联成AST; 通过Visitor模式遍历AST解析HQL中表
节点, 字段节点, 以及HQ L对应的操作类型;
S33.根据操作类型来判断是否需要变更 策略;
S34.获取到表的元数据信息, 以及策略中原本的字段信息, 调整数据库中原本存储的
策略。
4.根据权利要求3所述的一种基于Hive插件对Hive数据权限管控及安全审计方法, 其
特征在于, 步骤S3中, Antrl4通过.g4文件生成了6个基础文件, 分别为词法分析器、 语法分
析器、 监听接口、 L istener默认实现、 Visitor 接口以及Visitor 默认实现。
5.根据权利要求4所述的一种基于Hive插件对Hive数据权限管控及安全审计方法, 其
特征在于, 为了防止Admin客户端无法连接, 将策略同步保存到磁盘上, 若请求不到Admin客
户端, 则从磁 盘中读取 策略文件, 按照权限的最小原则, 管控用户对Hive 数据的使用权限。
6.一种基于Hive插件对Hive数据权限管控及安全审计系 统, 其特征在于, 所述系 统用
于实现根据权利要求1 ‑5任一项所述的方法, 所述系统包括Hiv e请求模块, 通过Hiv e请求进
入Hive驱动模块。
7.根据权利要求6所述的一种基于Hive插件对Hive数据权限管控及安全审计系 统, 其
特征在于, Hive驱动模块包括HQL解析单元、 HQL逻辑优化器单元、 权限校验单元、 物理计划
执行单元和提交单元; 通过所述HQL解析单元进行抽象语法树解析; 所述HQL逻辑优化器单
元进行逻辑执 行计划生成与优化; 提交单 元提交到yarn 运行。权 利 要 求 书 1/2 页
2
CN 115203750 B
28.根据权利要求7所述的一种基于Hive插件对Hive数据权限管控及安全审计系 统, 其
特征在于, 权限校验在HQL解析和HQL优化之后; 此时HQL已经在Hive中被拆解成表、 字段和
操作类型, 调用鉴权插 件接口来判断用户的操作, 鉴权结束将 审计日志同步到服 务器中。
9.根据权利要求8所述的一种基于Hive插件对Hive数据权限管控及安全审计系 统, 其
特征在于, Admin服务器中包括Antr l4解析SQL单元、 元数据获取字段单元、 创建表操作添加
策略单元和变更表操作修改策略单 元。
10.根据权利 要求9所述的一种基于Hive插件对Hive数据权限管控及安全审计系统, 其
特征在于, 每次HQL运行成功后发送Kafka记录下来, 便于记录数据血缘和元数据操作记录
变更。权 利 要 求 书 2/2 页
3
CN 115203750 B
3
专利 基于Hive插件对Hive数据权限管控及安全审计方法及系统
文档预览
中文文档
11 页
50 下载
1000 浏览
0 评论
309 收藏
3.0分
温馨提示:本文档共11页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
本文档由 人生无常 于 2024-03-18 02:13:48上传分享