(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210149216.9 (22)申请日 2022.02.18 (71)申请人 深圳萨摩耶数字科技有限公司 地址 518049 广东省深圳市福田区梅林街 道梅都社区中康路136号深圳新一代 产业园5栋1501 (72)发明人 林建明　曲佳境　 (74)专利代理 机构 上海大邦律师事务所 31252 专利代理师 王松 (51)Int.Cl. G06F 21/62(2013.01) G06F 16/23(2019.01) (54)发明名称 动态数据脱 敏方法及系统、 数据安全处理方 法及系统 (57)摘要 本发明揭示了一种动态数据脱敏方法及系 统、 数据安全处理方法及系统， 所述数据安全处 理方法包括： 接收用户提交的请求语句； 获取对 应用户的权 限； 判断用户是否具有对应权限； 若 对应用户具有设定表中设定字段敏感字段的访 问权限， 则提交到计算层执行对应请求； 若对应 用户没有对应敏感字段的权限， 则引擎根据已有 的脱敏配置库和脱敏规则库来决定对应敏感字 段的脱敏方式， 对请求语句进行改写后再提交到 计算层执行。 本发明提出的动态数据脱敏方法及 系统、 数据安全处理方法及系统， 可降低开发成 本、 维护成本及硬件资源的成本； 同时可降低系 统性能损耗。 权利要求书3页 说明书8页 附图3页 CN 114817974 A 2022.07.29 CN 114817974 A 1.一种动态数据脱敏 方法， 其特 征在于， 所述动态数据脱敏 方法包括： 步骤S1、 接收用户提交的请求语句， 根据用户提交的请求语句生成逻辑计划； 步骤S2、 获取查询的表， 获取对应用户的权限； 步骤S3、 判断用户是否具有对应权限； 若对应用户具有设定表中设定字段敏感字段的 访问权限， 则转至步骤S7； 若对应用户没有对应敏感字段的权限， 则引擎根据已有的脱 敏配 置库和脱敏规则库来决定对应敏感字段的脱敏算法， 转至步骤S4； 步骤S4、 创建应用脱敏用户自定义函数的全局临时视图， 替换对应的请求语句； 转至步 骤S5； 步骤S5、 将修改后的请求语句进行语法检测； 转至步骤S6； 步骤S6、 根据修改后的请求语句生成新的逻辑计划； 转至步骤S7； 步骤S7、 将逻辑计划提交到计算层执 行。 2.根据权利要求1所述的动态数据脱敏 方法， 其特 征在于： 所述动态数据脱敏 方法进一 步包括脱敏配置更新 步骤； 所述脱敏配置更新 步骤包括： 步骤A1、 初始化脱敏规则库 与脱敏配置库； 步骤A2、 实时更新迭代脱敏配置； 实时监控敏感数据变化以实现自动维护脱敏配置库； 获取元数据库的变更操作， 进而得知元数据中新增、 删除、 修改的表， 针对这些变动的 表进行取样分析， 并根据正则发现包含敏感数据的表及字段， 生成脱敏配置， 更新到脱敏配 置库； 形成脱敏配置管理的自动化。 3.根据权利要求2所述的动态数据脱敏 方法， 其特 征在于： 步骤A1中， 手动设定不同类型敏感数据默认脱敏方式， 手机号、 身份证号、 银行卡号、 姓 名默认采用的脱敏方式分别为遮盖后四位、 遮盖中间某几位、 遮盖中间某几位、 遮盖首个字 符后的几位； 脱敏规则库支持使用设定符号作为通配符， 如果公司的数仓比较规范， 某一类数据的 字段名大多是一致的， 比如客户姓名都叫cust_name或custname,所以通过通配 符实现配置 所有含cust_name的表都采用某种脱敏 方式； 当然通配方法虽然支持绝大部分表的敏感字段脱敏， 但不排除有用户会恶意使用其他 字段名存敏感数据或者用敏感字段名存其他数据， 因此通过敏感数据实时自动发现程序来 对通用配置进行 “纠错”； 步骤A2中， 开启Hive元数据Mysql的Binlog， 通过Flink消费Binlog得到元数据库的变 更操作， 进而得知Hiv e中新增、 删除、 修改的表格， 针对这些变动的表进 行取样分析， 并根据 正则发现包含敏感数据的表及字段， 生成脱敏配置， 更新到脱敏配置库； 形成脱敏配置管 理 的自动化； 首次运行后， 脱敏配置库已经存有大量脱敏规则， 这些规则随着时间的推移、 随着数仓 不断变化而变化。 4.一种数据安全处理方法， 其特征在于， 所述数据安全处理方法包括： 权利要求1至3任 一所述的动态数据脱敏 方法。 5.一种数据安全处 理方法， 其特 征在于， 所述数据安全处 理方法包括： 步骤1、 接收用户提交的请求语句； 步骤2、 获取对应用户的权限；权　利　要　求　书 1/3 页 2 CN 114817974 A 2步骤3、 判断用户是否具有对应权限； 若对应用户具有设定表中设定字段敏感字段的访 问权限， 则提交到计算层执行对应请求； 若对应用户没有对应敏感字段的权限， 则引擎根据 已有的脱敏配置库和脱敏规则库来决定对应敏感字段的脱敏方式， 对请求语句进 行改写后 再提交到计算层执 行。 6.一种动态数据脱敏系统， 其特 征在于， 所述动态数据脱敏系统包括： 逻辑计划生成模块， 用以接收用户提交的请求语句， 根据用户提交的请求语句生成逻 辑计划； 查询表获取模块， 用以获取查询的表； 用户权限获取模块， 用以获取对应用户的权限； 权限判断模块， 用以判断对应用户具有设定表中设定 字段敏感字段的访问权限； 脱敏算法选择模块， 用以在对应用户没有对应敏感字段的权限时， 根据已有的脱敏配 置库和脱敏规则库来决定对应敏感字段的脱敏算法； 全局临时视图创建模块， 用以创建应用脱敏用户自定义函数的全局 临时视图， 替换对 应的请求语句； 语法检测模块， 用以将修改后的请求语句进行语法检测； 逻辑计划更新模块， 用以根据修改后的请求语句生成新的逻辑计划； 以及 执行提交模块， 用以将逻辑计划提交到计算层执 行。 7.根据权利要求6所述的动态数据脱敏系统， 其特 征在于： 所述动态数据脱敏系统进一步包括脱敏配置更新模块， 用以更新脱敏配置； 所述脱敏 配置更新模块包括： 初始化模块， 用以初始化脱敏规则库 与脱敏配置库； 以及 脱敏配置更新迭代模块， 用以实时更新迭代脱敏配置， 实时监控敏感数据变化以实现 自动维护脱敏配置库； 获取元数据库的变更操作， 进而 得知元数据中新增、 删除、 修改 的表， 针对这些变动的表进行取样分析， 并根据正则发现包含敏感数据的表及字段， 生成脱敏配 置， 更新到脱敏配置库； 形成脱敏配置管理的自动化。 8.根据权利要求7 所述的动态数据脱敏系统， 其特 征在于： 所述初始化模块用以设定不同类型敏感数据默认脱敏方式， 手机号、 身份证号、 银行卡 号、 姓名默认采用的脱敏方式分别为遮盖后四位、 遮盖中间某几位、 遮盖中间某几位、 遮盖 首个字符后的几位； 脱敏规则库支持使用设定符号作为通配符， 如果公司的数仓比较规范， 某一类数据的 字段名大多是一致的， 比如客户姓名都叫cust_name或custname,所以通过通配 符实现配置 所有含cust_name的表都采用某种脱敏 方式； 当然通配方法虽然支持绝大部分表的敏感字段脱敏， 但不排除有用户会恶意使用其他 字段名存敏感数据或者用敏感字段名存其他数据， 因此通过敏感数据实时自动发现程序来 对通用配置进行 “纠错”； 该程序首次初始化脱敏配置库的整体思路是， 分析数仓 中已有数据， 对表、 字段取样后 根据正则来归类； 所述脱敏配置更新迭代模块开启Hive元数据Mysql的B inlog， 通过Flink消费B inlog得 到元数据库的变更操作， 进而得知Hive中新增、 删除、 修改了哪些表， 针对这些变动的表进权　利　要　求　书 2/3 页 3 CN 114817974 A 3