(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211293983.3 (22)申请日 2022.10.21 (71)申请人 四川云起老和科技有限公司 地址 610306 四川省成 都市中国 （四川） 自 由贸易试验区成都高新区交子大道 383号2栋1单 元17层08-10号 (72)发明人 何仲潇　董树锋　姚若浩　 (74)专利代理 机构 杭州求是专利事务所有限公 司 33200 专利代理师 刘静 (51)Int.Cl. G06N 3/04(2006.01) G06N 3/08(2006.01) G06Q 50/06(2012.01) G09B 9/00(2006.01) (54)发明名称 基于MATLAB的电力系统强化学习调控智能 体训练平台 (57)摘要 本发明公开了一种基于MATLAB的电力系统 强化学习调控智能体训练平台， 该平台包括电力 系统的Si mulink模型、 MATLAB强化学习工 具箱以 及信息交互系统三个组成部分。 本发 明提供了通 用化的电力系统强化学习调控智能体训练平台， 用户可以对于任意电力系统进行建模， 并实施验 证各类强化学习算法， 实现电力系统调控智能体 的训练。 训练得到的调控智能体可以用于在线运 行， 相比传统的依赖人工经验的调控方式， 对电 力系统调控所面临的实时性和随机性具有更好 的适应性。 权利要求书2页 说明书4页 附图1页 CN 115545165 A 2022.12.30 CN 115545165 A 1.一种基于MATLAB的电力系 统强化学习调控智能体训练平台， 其特征在于， 所述平台 包括电力系统的Simul ink模型、 MATLAB强化学习工具箱、 信息交 互系统； (1)电力系统的Simulink模型： 利用Simulink建立并维护待调控电力系统的模型， 包含 以下部分： (1.1)系统建模： 利用Simulink建立待调控电力系统的系统模型， 模型包含控制变量、 随机变量和因变量； (1.2)关键状态建模： 在系 统模型中选择部分变量作为表征待调控电力系统状态的关 键状态变量， 包括连续状态量和离 散状态量； (1.3)动作建模： 根据系统模型中的控制变量， 确定可用于待调控电力系统的调控动作 集合， 集合中的每组调控动作都包括连续动作和离 散动作部分； (1.4)奖励建模： 确定奖励计算函数， 所述奖励计算函数是系统模型中关键状态变量的 函数； (1.5)模型更新与信号创建： 电力系统的Simulink模型接收到来自MATLAB强化学习工 具箱的动作信号后， 更新系统模 型中控制变量、 随机变量的实时值， 并根据电力系统运行的 潮流约束， 更新系统模型中因变量的实时值； 更新后， 根据奖励计算函数创建奖励信号， 根 据关键状态变量的实时值创建状态信号； (2)MATLAB强化学习工具箱： 用于通过强化学习方法训练待调控电力系统的调控智能 体， 包含以下部分： (2.1)环境对象建立： 利用强化学习Simul ink环境工具建立环境对象； (2.2)状态对象建立： 针对(1.2)中的关键状态建模， 利用连续量设定和观测工具建立 连续状态对象； 利用离 散量设定和观测工具建立离 散状态对象； (2.3)动作对象建立： 针对(1.3)中的动作建模， 利用连续量设定和观测工具建立连续 动作对象； 利用离 散量设定和观测工具建立离 散动作对象； (2.4)训练配置： 根据建立的环境对象、 状态对象、 动作对象， 配置采用的强化学习算法 与参数、 神经网络结构与参数、 训练结束条件； (2.5)训练与信号创建： MATLAB强化学习工具箱接收到来自电力系统的Simulink模型 的状态信号和奖励信号后创建动作信号， 动作信号的内容为根据当前的调控智能体计算得 到(1.3)中确定的调控动作集合中的一个调控动作； 动作信号创建后， 利用强化学习方法训 练更新调控智能体； (3)信息交互系统： 用于电力系统的Simulink模型与MATLAB强化学习工具箱的信息交 互。 2.根据权利要求1所述的基于MATLAB的电力系统强化学习调控智能体训练平台， 其特 征在于， 所述控制变量的值通过调控动作进 行改变， 所述控制变量包括 发电机的启停状态、 发电机的有功 功率和接入节点的电压幅值。 3.根据权利要求1所述的基于MATLAB的电力系统强化学习调控智能体训练平台， 其特 征在于， 所述随机变量的值随时间变化而随机改变， 所述随机变量包括节点负荷的功率。 4.根据权利要求1所述的基于MATLAB的电力系统强化学习调控智能体训练平台， 其特 征在于， 所述因变量的值不能直接通过调控动作进行改变， 而是随着控制变量和随机变量 的值的变化， 根据电力系统运行 的潮流约束随之产生变化， 所述因变量包括发电机的无功权　利　要　求　书 1/2 页 2 CN 115545165 A 2功率、 接入节点的电压相角、 除了 接入节点外的节点电压、 支路的有功 功率和无功 功率。 5.根据权利要求1所述的基于MATLAB的电力系统强化学习调控智能体训练平台， 其特 征在于， 所述(1.2)关键状态建模中， 选择发电机的启停状态、 发电机的有功功率和 接入节 点的电压幅值作为表征待调控电力系统状态的关键状态变量， 连续状态量包括发电机的有 功功率和接入节点的电压幅值， 离 散状态量包括发电机的启停状态。 6.根据权利要求1所述的基于MATLAB的电力系统强化学习调控智能体训练平台， 其特 征在于， 所述(1.3)动作建模中， 所述连续动作包括调整发电机有功功率、 调整发电机接入 节点的电压幅值， 所述离 散动作包括启动发电机、 关停发电机 。 7.根据权利要求1所述的基于MATLAB的电力系统强化学习调控智能体训练平台， 其特 征在于， 所述(1.4)奖励建模中， 确定奖励计算函数为1减去支路的平均负载率， 所述奖励计 算函数是(1.1)系统模型中关键状态变量的函数。 8.根据权利要求1所述的基于MATLAB的电力系统强化学习调控智能体训练平台， 其特 征在于， 所述(2.4)训练配置中， 配置采用的强化学习算法为PPO， PPO参数为默认 参数， 神经 网络结构为包含四个隐藏层的全连接结构BP网络， 训练结束 条件为智能体完成设定次数的 训练。 9.根据权利要求1所述的基于MATLAB的电力系统强化学习调控智能体训练平台， 其特 征在于， 所述(3)信息交 互系统中， 包 含三种信号的传输： 状态信号传输： 状态信号由电力系统的Simulink模型创建， 状态信号的传输方向由电 力系统的Simul ink模型发送至 MATLAB强化学习工具箱； 动作信号传输： 动作信号由MATLAB强化学习工具箱创建， 状态信号的传输方向由 MATLAB强化学习工具箱发送至电力系统的Simul ink模型； 奖励信号传输： 奖励信号由电力系统的Simulink模型创建， 奖励信号的传输方向由电 力系统的Simul ink模型发送至 MATLAB强化学习工具箱。 10.根据权利要求1所述的基于MATLAB的电力系统强化学习调控智能体训练平台， 其特 征在于， 所述信息交互系统中的信号传输是连续不断的， 直至(2.4)中配置的训练结束 条件 成立； 所述的连续 不断是指一 旦有信号被创建， 就 立即按照指定方向进行传输 。权　利　要　求　书 2/2 页 3 CN 115545165 A 3