基于深度强化学习的退役电动汽车POWER-SONIC蓄电池储能综合能源系统调度
2026-06-26 20:50:45 点击： 次
退役电动汽车电池(REVBs)仍保有可观储能容量，具有巨大的再使用潜力归纳动力体系但是，供需动态与电池安全约束条件对动力优化调度提出了应战。本文提出了一种混合体系，包含热能与电能，选用REVB作为储能组件。该体系依托光伏（PV）技术捕获太阳能，并将其转化为热能与电能以供使用户。REVB作为体系核心部件，经过办理其充放电行为来调节动力分配。为探究最优动力调度战略，本文提出了一种两阶段深度强化学习（DRL）优化办法。第一阶段引进深度确定性战略梯度（DDPG）办法确定REVB行为，第二阶段提出竞争性招标机制以完成动力最优分配。根据真实场景与数据验证的模仿成果标明，该计划完成了35.2%的能量耗散比较规范战略，用户在购买动力的开销上减少了4.6%。一起，实验标明REVB作为储能组件的功率挨近新式计划电池其能量糟蹋仅高出约1.1%，用户开销增幅不足1%。
图文摘要
近年来，资源稀缺与环境污染问题明显加重[[1], [2], [3]]，破坏了动力供需平衡[4]。值得重视的是，归纳动力体系常被视为缓解这一压力的合理有用途径[5,6]。这类体系经过太阳能[7]、风能[8]及潮汐能[9]等动力驱动，将其转化为所需的电能与热能[10]。当时全球大都国家正积极展开这类极具本钱效益与环境友好性的归纳动力体系，并已取得严重突破[11]。但是在此过程中，高效存储与使用这些生成动力构成了今世严重应战[13]。储能设备在处理该问题中发挥着要害效果[14]。
储能设备的突破性发展正引领动力格局迈入革命性新时代[15,16]。在这场革新中，电池单元作为核心储能元件发挥着不行代替的效果[17,18]。作为能量出产与消费的中间载体，它们将能量以化学能形式存储，并在需要时转换为电能开释[19]。值得注意的是，近年来大量电动车动力电池包在剩下容量低于初始容量80%时退役[[20], [21], [22]]，展现出广阔的使用远景。据统计，2023年前三季度退役电动车电池累计量已达27万吨，估计全年总量将达36万吨。此外，专家猜测退役电池规模将在2025年攀升至75万吨，并将在2027年激增至230万吨。因此，怎么妥善处理这些电动车退役电池至关重要[23]。在测试剩下能量后，这些退役电池被使用于不间断电池备用电源、移动充电桩和家庭储能电源等布置场景[24]。图1展示了全球商场曩昔5年电池容量与REVBs数量的改变趋势，呈现出持续增长的态势。REVBs的梯度使用不仅能缓解电池收回压力与环境污染问题[25]，还可完成电池价值与资源的最大化使用[26,27]，一起有用下降电力体系储能项目的本钱[28,29]。
混合储能体系作为国际上公认的一种不断扩展的存储容量组合，在可再生动力设备和电动汽车储能[30]的展开中发挥着至关重要的效果。考虑到用户间动力需求[31]的多样性（而非单一性），集成式储能体系[32,33]比较独立储能体系更能呼使用户需求，因此具有更大的使用潜力。很多学者已针对混合储能体系的使用展开了深入研讨[34,35]。为下降风电功率动摇对电力体系安稳性的影响，Zhang等学者提出一种交融多性向战略与办法的归纳计划，旨在提高体系功率与可靠性[36]。模仿实验标明，该集成操控战略能有用平抑风电功率动摇并动态调控储能出力。Biks Alebachew Taye等研讨者为保证直流微电网无缝运转，探究一种由电池和超级电容器组成的混合储能体系，提出一种结合荷电状态办理的新式自适应频率操控机制[37]。鉴于风景互补发电具有随机性和动摇性，对电网安全安稳运转影响明显，作者提出根据三电池组操控运转战略的多时间尺度嵌套储能优化模型，适用于可再生动力体系[38]。事实上，热电一体化体系当时需求旺盛，但针对混合热电储能的研讨却十分有限[39]。Prateek Munankarmi等人提出一种一起考虑电能与热能的家用动力办理体系[40]。Shu等人研讨了高导热相变复合材料对光-电-热能量转换的影响[41]。此外，William T. Hamilton等人提出了一种独立运转的电力热能存储体系，该体系可经过热力学动力循环将热能转化为电能[42]。但是，怎么确定电力与热能的最优分配比例以满意用户的多样化需求，已成为新的研讨应战。为完成动力高效使用，Hou等人提出并验证了一种集成式太阳能-氢能电池储能体系，用于满意小规模使用场景下的热负荷与电负荷需求[43]。针对乡村动力供应体系动力使用率低、灵活运转才能不足的问题，徐等人提出了一种交融虚拟储能技术的乡村多能供应体系优化调度办法，旨在提高经济效益与动力装备功率[44]。李等人研讨了配备电-热储能设备的多能微电网多阶段实时运转问题，获得了满意工程需求的实时运转处理计划[45]。针对集中式储能可靠性低与分布式储能本钱高昂的问题，Dong等人提出了一种考虑电热储能集成结构的归纳动力微电网体系优化调度模型[46]。虽然现有大量关于热电混合动力体系的研讨，但大大都研讨选用新式燃料电池而非REVB作为储能元件。在保证安全性与容量的前提下，将REVB作为储能设备整合至热电混合体系中，可明显提高经济可行性与环境可持续性，因此具有重要的实用价值。
作为归纳动力体系中的要害组件，储能设备经过暂时存储体系中的过剩能量并在用户需要时开释，对提高体系灵活性与动力使用率具有核心效果[47]。鉴于REVB（可逆动力电池）的杰出功能与本钱效益，越来越多学者开端重视将其作为储能元件的使用远景[48]。例如，Daimler、The Mobility House、GETEC与REMONDIS一起推动将REVB改造用于容量达13兆瓦时的大型固定式储能项目，明显延长了电池寿命[49]。很多研讨者也探究了REVB在归纳储能体系中的立异使用。Pankaj Sharma等学者提出了一种由REVB与光伏体系组成的集中式电动汽车充电站架构，为后续研讨供给了重要参阅[50]。Su等构建了一个选用REVBs和超级电容器的储能社区体系，该体系展现出杰出的经济性[23]。在上述体系中，REVBs有助于平衡可再生动力的动摇性[51]，供给电力体系灵活性并应对用电需求高峰[52]。但是，在具有较大动态功率改变和频繁电池充放电行为的体系中，REVBs往往会呈现快速功能衰减，导致运转功能恶化[53]。以往的研讨办法通常对REVBs的充放电功率、频率以及充放电行为的并行性施加约束。詹等人提出了一种针对风能REVB储能体系的两阶段优化办法[53]。他们研讨了该体系在一起参与频率受限的常规运转备用商场和现货商场时的经济功能。为最小化供电损耗、体系本钱和潜在动力糟蹋，黄等人提出了一种光伏-氢能-REVB集成动力体系，这是使用REVB剩下容量的有用办法[54]。虽然这些办法延长了REVB的使用寿命并拓宽了其使用场景，但它们约束了REVB的运转自由度并下降了动力使用功率。此外，上述研讨办法在应对高度动态和不确定环境时面对应战，导致体系功率下降。因此，开发一种优化办法来有用分配和调整改变中的归纳动力体系内各类动力，具有重要的现实意义和研讨价值。
总归，当时热电混合动力体系面对两大首要应战：其一，当电池容量降至特定阈值时立即替换电芯的做法，给退役电池处置和环境可持续性带来压力；其二，现有体系难以适应动态环境改变，然后约束了探究最优战略的才能。针对这些应战，首先规划了一种包含热能与电能的双动力混合体系，其中选用REVB作为储能设备。其次，提出了一种两阶段深度强化学习优化办法，用以探究动态环境下的最优战略。本文的立异点可归纳如下：
- 1)本文提出一种热电归纳动力体系，该体系由光伏组件(PV)、可逆电转气电池(REVB)、热泵、主电网、供热网络及若干用户组成。体系中光伏发电发生的能量最终以热能或电能形式分配给用户。作为核心储能单元的REVB是体系要害组件，可明显提高体系经济性与环境友好性。该组件在光照足够时进行充电，在用户需求时段施行放电以满意用能需求。
- 2)提出一种两阶段深度强化学习优化办法以完成动力的优化调度。具体而言，将可再生动力电动汽车电池（REVB）的充放电问题建模为马尔可夫决议计划过程（MDP），并将深度确定性战略梯度（DDPG）办法划分为两个阶段。第一阶段针对动态环境中REVB行为难以确定的应战，规划具有多性向的动作以确定电能传输的大小与方向。第二阶段为下降用户用电本钱，选用竞争性招标机制处理用户需求的优先级排序问题。一起在DDPG的奖赏中引进赏罚项以遏制REVB的风险行为。第一阶段的动作会影响第二阶段的输出成果，从而作为奖赏反馈影响第一阶段的战略，使得REVB能够适应体系的动态复杂改变。
- 3)选用真实场景与数据对热电归纳动力体系及两阶段深度强化学习优化办法进行评价。实验成果标明，与传统办法比较，REVB储能体系完成了与新电池近乎同等的效能，动力糟蹋下降35.2%，用户开销减少4.6%。此外，经过评论强化学习（RL）参数的影响以探究体系敏感性，并根据用户长期需求展开新模仿研讨，成果标明该办法具有长期使用潜力。