(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211275842.9 (22)申请日 2022.10.18 (71)申请人 北京鼎成智造科技有限公司 地址 100193 北京市海淀区西北旺东路10 号院东区15号楼 2层01A201 (72)发明人 陈敏杰　李业磊　 (74)专利代理 机构 北京丰浩知识产权代理事务 所(普通合伙) 11781 专利代理师 李奉瑾 (51)Int.Cl. G06N 3/04(2006.01) G06N 3/08(2006.01) G06F 9/445(2018.01) G06F 8/33(2018.01) (54)发明名称 一种强化学习模型构建方法及系统 (57)摘要 本发明公开了一种强化学习模型构建方法 及系统， 该方法包括： 响应于用户可视化配置， 低 代码编辑器模块获取可视化配置参数， 利用所述 低代码编辑器模块对所述可视化配置参数进行 处理， 得到参数结构化数据； 利用代码生成器模 块对参数结构化数据进行处理， 得到目标代码结 构化数据； 利用所述代码生 成器模块对所述目标 代码结构化数据进行数据转换处理， 得到目标 强 化学习模型。 可见， 本发 明减少构建算法时间、 测 试时间， 提升了强化学习的训练效率， 解决了强 化学习在与不同仿真场景结合时的交互困难的 问题。 权利要求书3页 说明书10页 附图2页 CN 115456150 A 2022.12.09 CN 115456150 A 1.一种强化学习模型构建方法， 其特 征在于， 所述方法包括： S1， 响应于用户可视化配置， 低代码编辑器模块获取可视化配置参数， 利用所述低代码 编辑器模块对所述可视化配置参数进行处 理， 得到参数 结构化数据； S2， 利用代码生成器模块对参数 结构化数据进行处 理， 得到目标代码结构化数据； S3， 利用所述代码生成器模块对所述目标代码结构化数据进行数据转换处理， 得到目 标强化学习模型。 2.根据权利要求1所述的一种强化学习模型构建方法， 其特 征在于： 所述低代码编辑器模块包括 参数接收子模块； 所述利用所述低代码编 辑器模块对所述可视化配置参数进行处理， 得到参数结构化数 据， 包括： S11， 响应于用户可视化配置， 所述低代码编辑器模块获取 可视化配置参数； S12， 利用所述低代码编辑器模块中的参数生成子模块和编辑器协议模块中的协议模 板集， 对所述可视化配置参数进行处 理， 得到参数 结构化数据。 3.根据权利要求2所述的一种强化学习 模型构建方法， 其特征在于， 所述响应于用户可 视化配置， 低代码编辑器模块获取 可视化配置参数， 包括： S111， 响应于用户可视化配置， 构建强化学习中的Web组件集； S112， 所述低代码编辑器模块对所述Web组件集进行处理， 自动识别仿真场景， 得到所 述可视化配置参数。 4.根据权利要求2所述的一种强化学习 模型构建方法， 其特征在于， 利用所述低代码编 辑器模块中的参数生成子模块和 编辑器协议模块中的协 议模板集， 对所述可视化配置参数 进行处理， 得到参数 结构化数据， 包括： S121， 所述低代码编辑器模块中的参数生成子模块与编辑器协议模块进行数据通联， 得到协议模板集； S122， 所述参数生成子模块利用所述协议模板集对所述可视化配置参数进行封装处 理， 得到参数 结构化数据。 5.根据权利要求1所述的一种强化学习模型构建方法， 其特 征在于： 所述代码生成器模块包括参数接收子模块、 参数解析子模块、 结构化数据子模块、 代码 生成子模块； 所述利用代码生成器模块对参数结构化数据进行处理， 得到目标代码结构化数据， 包 括： S21， 利用所述代码生成器模块的参数接收子模块从所述低代码编辑器模块中加载所 述参数结构化数据； S22， 利用所述参数接收子模块对所述参数结构化数据进行完整性检验， 获得参数结构 化完整数据； S23， 利用所述代码生成器模块的参数解析子模块， 依据所述协议模板集中对应的协议 模板对所述 参数结构化完整数据进行处 理， 得到第一代码结构化数据； S24， 利用所述代码生成器模块的结构化数据子模块对所述第一代码结构化数据进行 解析处理， 得到目标代码结构化数据。 6.根据权利要求5所述的一种强化学习 模型构建方法， 其特征在于， 所述利用所述参数权　利　要　求　书 1/3 页 2 CN 115456150 A 2接收子模块对所述 参数结构化数据进行完整性检验， 获得参数 结构化完整数据， 包括： S221， 所述参数接收子模块获取所述参数结构化数据中各字段数据， 并获取所述各字 段数据的接收长度值； S222， 对于任一所述字段数据， 依据该字段数据的类型标志位识别该字段数据对应的 参数结构化数据类型； 根据所述参数结构化数据类型， 由所述协议模板集中对应协议模板获取该字段数据对 应的定义长度值； S223， 判断该字段数据对应的接收长度值是否等于该字段数据对应的定义长度值， 得 到长度判断结果； 当所述长度判断结果 为是时， 确定该字段 数据为所述 一个完整字段 数据； 当所述长度判断结果 为否时， 丢弃 该字段数据； 对所有所述完整字段 数据进行融合， 得到参数 结构化完整数据。 7.根据权利要求5所述的一种强化学习 模型构建方法， 其特征在于， 利用所述代码生成 器模块的结构化数据子模块对所述第一代码结构化数据进 行解析处理， 得到目标代码结构 化数据， 包括： S241， 所述结构化数据子模块获取所述第一代码结构化数据中各字段数据， 并获取所 述各字段 数据的实际数据结构； S242， 对于任一所述字段数据， 依据该字段数据的类型标志位识别该字段数据对应的 数据结构； 根据所述字段数据类型， 从所述协议模板集中对应协议模板获取该字段数据的定义数 据结构； S243， 判断该字段数据的实际数据结构与所述定义数据结构是否一致， 得到结构判断 结果； 当所述结构判断结果为是时， 确定该字段数据为所述第 一代码结构化数据的一个完整 字段数据； 当所述结构判断结果 为否时， 丢弃 该字段数据； 对所有所述完整字段 数据进行融合， 得到第一代码结构化完整数据； S244， 所述结构化数据子模块获取所述第一代码结构化完整数据中各完整字段数据， 并获取所述各完整字段 数据的数据类型； S245， 对于任一所述完整字段数据， 依据该完整字段数据的类型标志位识别该完整字 段数据的实际数据类型； 根据所述数据类型， 从所述协议模板集中对应协议模板获取该完整字段数据对应的定 义数据类型； S246， 判断所述完整字段数据的实际数据类型与所述定义类型是否一致， 得到类型判 断结果； 当所述类型判断结果为是时， 确定该完整字段数据为所述第 一代码结构化完整数据的 一个正确字段 数据； 当所述类型判断结果 为否时， 丢弃 该完整字段 数据； 对所有所述 正确字段 数据进行融合， 得到目标代码结构化数据。权　利　要　求　书 2/3 页 3 CN 115456150 A 3