说明:收录全文最新的团体标准 提供单次或批量下载
文库搜索
切换导航
文件分类
频道
仅15元无限下载
联系我们
问题反馈
文件分类
仅15元无限下载
联系我们
问题反馈
批量下载
(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210702916.6 (22)申请日 2022.06.21 (71)申请人 中银金融科技有限公司 地址 200120 上海市中国 (上海) 自由贸易 试验区银城中路20 0号4层408室 (72)发明人 候嘉鑫 (74)专利代理 机构 北京集佳知识产权代理有限 公司 11227 专利代理师 周初冬 (51)Int.Cl. G06F 16/242(2019.01) G06F 16/2453(2019.01) G06F 16/2455(2019.01) (54)发明名称 一种数据处理方法、 装置、 电子设备、 及计算 机存储介质 (57)摘要 本申请公开了一种数据处理方法、 装置、 电 子设备、 及计算机存储介质, 可应用于大数据领 域。 该方法包括获取用户输入结构化查询语言 SQL语句; 对SQL语句进行解析, 确定待 查询数据, 以及待查询数据的数据量; 对数据量和待查询数 据进行处理, 确定分页数, 以及每一分页所对应 的待查询数据; 基于多进程数对每一分页所对应 的待查询数据进行分页多进程查询, 导出每一分 页对应的固定格式文件, 其中, 多进程数是基于 分页数确定的。 在本发明实施例中, 根据SQL语句 所要查询的数据量, 以开启多线程进行分页数据 查询, 并在进行流式数据处理后, 导出每一分页 对应的固定格式文件。 通过上述方式能够减少处 理时间, 且能够避免导出处理, 进而防止系统宕 机。 权利要求书2页 说明书9页 附图5页 CN 114969098 A 2022.08.30 CN 114969098 A 1.一种数据处 理方法, 其特 征在于, 所述方法包括: 获取用户输入结构化 查询语言SQ L语句; 对所述SQ L语句进行解析, 确定待查询数据, 以及所述待查询数据的数据量; 对所述数据量和所述待查询数据进行处理, 确定分页数, 以及每一分页所对应的待查 询数据; 基于多进程数对每一分页所对应的待查询数据进行分页多进程查询, 导出每一分页对 应的固定格式文件, 其中, 所述多 进程数是基于所述分页数确定的。 2.根据权利要求1所述的方法, 其特 征在于, 还 包括: 在获取用户输入的待查询数据对应结构化查询语言SQL语句之后, 判断所述SQL语句是 否符合预设SQ L规范; 若符合, 执 行对所述SQ L语句进行解析, 确定待查询数据的数据量 这一步骤; 若不符合, 输出提 示信息, 提 示用户重新输入 对应的SQ L语句。 3.根据权利要求1所述的方法, 其特征在于, 所述对所述数据量和所述待查询数据进行 处理, 确定分页数, 以及每一分页所对应的待查询数据, 包括: 按照预设 分页规则对所述数据量进行计算, 得到对应的分页数; 基于所述分页 数对所述数据量对应的待查询数据进行划分, 得到每一分页所对应的待 查询数据。 4.根据权利要求1所述的方法, 其特征在于, 所述基于多进程数对每一分页所对应的待 查询数据进行分页多 进程查询, 导出每一分页对应的固定格式文件, 包括: 基于所述分页数设置对应的多 线程数; 基于所述多线程数对每一分页 所对应的待查询数据进行分页多进程查询, 得到每一分 页的查询结果; 针对每一分页, 将所述 查询结果 导出生成固定格式文件。 5.根据权利要求1所述的方法, 其特 征在于, 还 包括: 按照预设存放路径将所述每一分页对应的固定格式文件进行存 储。 6.一种数据处 理装置, 其特 征在于, 所述装置包括: 获取单元, 用于获取用户输入结构化 查询语言SQ L语句; 解析单元, 用于对所述SQL语句进行解析, 确定待查询数据, 以及所述待查询数据的数 据量; 处理单元, 用于对所述数据量和所述待查询数据进行处理, 确定分页 数, 以及每一分页 所对应的待查询数据; 基于多进程数对每一分页所对应的待查询数据进行分页多进程查 询, 导出每一分页对应的固定格式文件, 其中, 所述多 进程数是基于所述分页数确定的。 7.根据权利要求6所述的装置, 其特 征在于, 还 包括: 判断单元, 用于在获取用户输入的待查询数据对应结构化查询语言SQL语句之后, 判断 所述SQL语句是否符合预设SQL规范; 若符合, 执行对所述SQL语句 进行解析, 确定待查询数 据的数据量 这一步骤; 若不符合, 输出提 示信息, 提 示用户重新输入 对应的SQ L语句。 8.根据权利要求6所述的装置, 其特 征在于, 还 包括: 存储单元, 用于按照预设存放路径将所述每一分页对应的固定格式文件进行存 储。 9.一种电子设备, 其特征在于, 所述电子设备用于运行程序, 其中, 所述程序运行时执权 利 要 求 书 1/2 页 2 CN 114969098 A 2行如权利要求1 ‑5中任一所述的数据处 理方法。 10.一种计算机存储介质, 其特征在于, 所述存储介质包括存储程序, 其中, 在所述程序 运行时控制所述存 储介质所在设备 执行如权利要求1 ‑5中任一所述的数据处 理方法。权 利 要 求 书 2/2 页 3 CN 114969098 A 3
专利 一种数据处理方法、装置、电子设备、及计算机存储介质
文档预览
中文文档
17 页
50 下载
1000 浏览
0 评论
309 收藏
3.0分
赞助2.5元下载(无需注册)
温馨提示:本文档共17页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
下载文档到电脑,方便使用
赞助2.5元下载
本文档由 人生无常 于
2024-03-18 00:11:03
上传分享
举报
下载
原文档
(563.5 KB)
分享
友情链接
DB34-T 4367-2023 民政领域政府购买服务操作指南 安徽省.pdf
GB-T 31958-2015 薄膜晶体管液晶显示器用基板玻璃.pdf
IEC62443-3-2 2020-06.pdf
GB-T 24822-2009 家用和类似用途电器维修故障编码规范.pdf
GA-T 460.2-2020 居民身份证卡体材料及打印薄膜技术规范 第2部分:制卡用印刷层白色PETG薄膜.pdf
DB32-T 4535-2023 固定污染源废气 颗粒物快速监测技术规范 江苏省.pdf
GB-T 21369-2008 火力发电企业能源计量器具配备和管理要求.pdf
GB 50057-2010建筑物防雷设计规范.pdf
GB-T 42506-2023 国有企业采购信用信息公示规范.pdf
GB-T 41085-2021 城乡社区环卫清洁服务要求.pdf
SY-T 7678-2023 二氧化碳驱油田站内工艺管道施工技术规范.pdf
T-ACEF 110—2023 公民绿色低碳行为温室气体减排量化指南 行:机动车停驶.pdf
GB-T 35229-2017 地面气象观测规范 雪深与雪压.pdf
T-CES 173—2022 锂离子电池储能舱技术规范.pdf
DB15-T 839—2022 高速公路养护工程预算编制办法及定额 内蒙古自治区.pdf
GB-T 41704-2022 锂离子电池正极材料检测方法 磁性异物含量和残余碱含量的测定.pdf
GB-T 18788-2008 平板式扫描仪通用规范.pdf
DB23-T 2913—2021 建设占用耕地耕作层土壤剥离利用技术规范 黑龙江省.pdf
思度安全-DSMM-017 数据销毁安全管理规范V1.0.pdf
三级等保测评指导书(整合版).xlsx
1
/
3
17
评价文档
赞助2.5元 点击下载(563.5 KB)
回到顶部
×
微信扫码支付
2.5
元 自动下载
官方客服微信:siduwenku
支付 完成后 如未跳转 点击这里 下载
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们
微信(点击查看客服)
,我们将及时删除相关资源。