考虑电池退化与碳减排的混合电-氢储能系统深度强化学习调度方法
2026-05-29 14:34:11 点击： 次
混合电-氢储能体系(HEHESS)已得到广泛应用。但是现有研讨鲜少触及一起兼顾电池寿命、环境可持续性与经济效益的集成调度优化问题，特别是在面对多方针连续空间优化的复杂性时。为处理HEHESS中的这一多方针优化问题，咱们提出了一种改进的经济调度模型，该模型在引进碳减排方针的一起，整合了电池的循环老化与日历老化办理。咱们选用近端战略优化（PPO）算法构建动作过滤战略，以最小化电池损耗、最大化碳减排与收益，并避免过充和过放行为。经过与五种先进深度强化学习算法的比照剖析，验证了所提算法的优越性和有用性。此外，针对配备老化及潜在弃电率上升问题，规划了相应的重调度战略。实验结果标明，所提出的调度战略能有用管控电力供需波动，显著提高混合动力储氢体系（HEHESS）在不确定性条件下的适应能力。在我国山东和美国加州两个不同区域及时空尺度上的验证标明，该PPO算法能有用平衡HEHESS的多重方针。
引言
全球气候变化日益加重，促使多国制定雄心勃勃的碳中和方针并加速动力结构绿色转型。欧盟、美国等发达国家承诺于2050年前完成碳中和[1]。我国相同提出碳达峰碳中和方针，旨在经过大规模可再生动力开发下降对化石燃料的依赖[2]。但是风电、光伏等可再生动力装机容量的快速扩展[3]显著加重了电力供应的波动性，进一步激化供需失衡对立[4]。在可再生动力发电高峰期，供过于求常导致弃风弃光现象，并对电网稳定性构成额定压力。例如，我国山东省作为风能和太阳能资源丰富的区域，频频呈现可再生动力发电限发情况，且偶发负电价现象，大幅下降了可再生动力的有用利用率[5]。因此，缓解可再生动力的间歇性与波动性，已成为完成碳达峰与碳中和方针的关键举措。
储能技术作为应对这一应战的关键处理方案已获得广泛重视[6]。近年来，储能选择日趋多样化，其中电池储能（BES）[7]和氢能储能（HES）体系[8]尤为杰出。BES因其高能量密度和快速呼应特性被广泛应用于短期电力调理[9]，但难以满足大规模、长时间储能需求[10]。相较而言，HES在大规模、长时间调理方面具有优势，但其较低的往复效率（Round-trip efficiency）和较高的基础设施本钱限制了更广泛的应用[11]。混合电-氢储能体系（HEHESS）[12]经过整合BES的快速呼应特性与HES的长时调理Ability，完成了能量办理优化、可再生动力利用率提高及电网稳定性增强[13]。此外，本研讨调查的HEHESS体系经过将过剩电能转化为氢气直接出售，提供了一条经济优势路径，这有助于抵消HES布置相关的高本钱。
剖析表1可发现当时HEHESS研讨存在若干局限[14]-[46]：(1) 现有研讨多集中于单方针优化；(2) 鲜有多性向结构能一起考虑碳减排与非线性电池衰减；(3) 现有方法首要选用PSO、NSGA-II、TD3和SAC算法，这些算法在平衡体系长时间可持续性与经济功能方面存在缺乏。比较之下，结合动作过滤机制的PPO算法具有更强的动态状况感知能力，可显著提高战略执行稳定性。
为克服上述局限性，本文提出一种面向HEHESS的多性向调度模型，可协同优化经济功能、电池退化与环境可持续性。该模型整合经济运营方针与可持续运营方针，经过精确的退化建模在延长电池寿命的一起，完成经济效益与环境效益的最大化。
针对上述应战，本文提出根据近端战略优化（PPO）算法的多性向混合电-氢储能调度（MHEHESS）模型。首要立异点体现在以下方面：
(1) 综合多性向考量：与传统单方针或双方针优化模型不同，本文在HEHESS中一起整合了电池循环老化与日历老化办理以及碳排放减少的优化方针，完成了多性向之间的平衡。
(2) 根据PPO算法的MOP结构：PPO算法经过规划多性向奖励函数与动作过滤战略来处理多方针问题。与其他深度强化学习（DRL）算法比较，PPO算法经过束缚战略更新展现出更强的稳定性和鲁棒性。
(3) 立异性调度优化战略：针对MHEHESS的体系特性，本文提出一种根据跨区域多时间尺度长时间数据的Gen调度战略，既能快速呼应短期电力需求波动，又可完成长时间能量转移。一起经过将弃风弃光动力转化为氢气并直接出售，进一步下降HES的昂扬本钱。