工业微电网POWER-SONIC蓄电池储能调度中考虑退化的深度强化学习及其实时部署验证
2026-10-22 21:20:31 点击： 次
摘要
电池退化是工业微电网电池储能系统（BESS）调度中不可忽视的成本，然而大多数深度强化学习（DRL）研究仅优化采购成本。本文将雨流法校准的循环老化成本嵌入到具有可调权重λ的退化感知软演员-评论家（DA-SAC）框架的奖励中，使成本与寿命之间的权衡变得明确。基于重庆某工业微电网一年的15分钟数据，主要评估在离线模拟中进行，典型日通过硬件在环（HIL）实时模拟进行验证，其中策略运行在Beckhoff边缘控制器上，Speedgoat实时目标机负责模拟。相比于模型预测控制（MPC），DA-SAC将循环退化成本降低了约28%，但其运行成本无法低于649.4元/天，劣于简单的价格阈值规则（641.8元），我们将这一边界归因于长时程信用分配问题。动态规划（DP）提供了一个强大的基准，其闭环查询在噪声预测下的成本与MPC相当（每日618.4元对618.1元），而部署时间SAC修正将粗网格DP的成本从每日620.6元降低至619.4元，且具有更强的预测噪声鲁棒性（在噪声增加三倍的情况下，其鲁棒性提升3.5%，而MPC为4.55%）。因此，当结合单一主站点和固定预测噪声水平下的DP精确机会成本时，退化感知DRL的价值最为突出。
在双碳目标下，能源系统正加速向高比例可再生能源转型，光伏和风电的间歇性和波动性不断提高对灵活调节资源的需求[1,2]。电池储能系统（BESS）凭借其快速响应、双向调节和高能量密度，已成为配电和消费侧灵活性的重要载体。微电网将分布式发电、储能和负荷整合为一个可控的单一单元，既能并网运行也能孤岛运行，是BESS与分布式发电结合的典型结构[3,4]。在分时电价（TOU）下，电池储能系统（BESS）通过在谷时段充电、峰时段放电来降低采购成本。然而，每一次充放电循环都会加速电池老化并缩短其使用寿命[5,6因此，经济调度必须在采购成本与电池寿命之间取得平衡；套利策略越激进，充放电循环就越深、越频繁，反之，套利收益就会损失得越多。这种矛盾在微电网中尤为突出，因为微电网的读档和光伏出力随季节和工作日剧烈波动，且预测不确定性显著[7].
本文研究的微电网位于重庆的一家制造企业，具有较大的负荷峰谷差（年峰值/均值约为11）以及对天气敏感的光伏发电。控制器必须做出跨时段的权衡决策，例如现在放电还是为晚高峰储备能量，以及现在充电还是等待低价时段。此类决策的收益跨越数小时，且高度依赖于对未来负荷、光伏和价格的预测。其本质是提前储能以供数小时后放电的时间决策，这对学习方法提出了挑战。
目前存在多种电池储能系统（BESS）经济调度方法。模型预测控制（MPC）在每个决策时刻利用滚动时域预测求解有限时域优化问题，执行第一个动作，并在下一时刻重新求解[7,8]。模型预测控制（MPC）显式处理约束条件并趋向最优，但需要在每一步进行在线求解，且解的质量取决于预测精度，因此预测误差会直接影响决策。阈值规则通过价格阈值触发充放电。它们易于实现且不依赖预测，但无法显式权衡成本性能与寿命，且难以适应多变的操作条件。动态规划（DP）[9] 通过对给定预测进行反向递归求解贝尔曼方程以获得全局最优解，但需要预测和转移模型，且计算成本随状态空间增长。深度强化学习（DRL）将调度表示为状态-动作映射。训练完成后，通过单次前向传播即可获得动作，无需在线优化，被视为边缘控制器的可行方案[10,11]，并通过奖励设计融入多目标（如退化成本）。
将深度强化学习（DRL）应用于微电网能量管理和电池调度的文献正迅速增加，已有几项综述对该领域进行了梳理[1,2,4,12]。Joshi等人[1]系统地回顾了人工智能和机器学习技术在微电网能量管理系统中的应用，涵盖了从负荷预测到实时调度的所有阶段。Barbalho等人[2]按问题类别和算法家族（DQN/DDPG/TD3/SAC/PPO）对微电网控制的强化学习解决方案进行了分类，并比较了它们的适用性。Waghmare等人[4] 和 Nasir 等人 [12] 讨论了基于强化学习的微电网控制的趋势和部署挑战，及其在交流、直流和混合微电网中的应用。Mahmud等人[13] 将深度强化学习的应用从集中式发电扩展到了现代能源互联网框架。
在将电池退化纳入DRL调度策略的研究中，主流方法大多使用离散动作DQN类算法[14]。Kwon和Zhu[15]使用深度Q网络在基于循环的退化成本模型下实现电池最优控制，通过雨流计数法将循环退化嵌入马尔可夫决策过程。Altimania等人[16] 使用自适应多性向目标深度强化学习进行微电网能量管理，考虑退化和可再生能源的不确定性，并报告在包含可控读档的测试问题上，其运行成本比模型预测控制降低了12%。此外还有一种非学习启发式优化方法，例如Zhao等人[17]使用改进的正弦-余弦算法构建并优化了一个包含微电网能量管理中储能退化成本的目标函数。在连续动作方向上，Li等人[18] 应用软演员-评论家方法（SAC）来预测考虑误差的风储系统最优调度。最近的数据驱动微电网调度研究已开始在标准化的Gymnasium环境中评估DRL算法，例如Arvanitidis等人[19] 系统地评估了核能驱动微电网环境中的PPO、TD3和SAC算法。这些研究大多旨在超越基准，并在通常相当复杂的测试问题（可控负荷、多市场、柔性负荷）上报告了积极结果。对于结构简单且规则接近最优的问题（如纯TOU套利），深度强化学习的经济上限及其相对于经典方法的适用边界尚未得到系统解答。这一空白正是本研究的出发点。
本文的贡献主要体现在三个方面。首先，提出了一种退化感知SAC（DA-SAC）框架，该框架通过可调权重λ将雨流法校准的循环老化成本嵌入奖励函数中，使运行成本与电池寿命之间的权衡变得明确。其次，通过系统评估，刻画了退化感知纯深度强化学习在接近最优规则的时间电价调度问题中的经济能力边界，并将其性能上限归因于长时程信用分配问题；这一负面但具有启发性的结果为方法选择提供了标准。第三，一种部署时DP-SAC混合方案在噪声预测下实现了与MPC相当的成本，具有轻量化计算和更强的噪声鲁棒性，并在Beckhoff CX9240边缘控制器上实现，通过硬件在环实时模拟验证。据我们所知，这是首项系统表征退化感知DRL在规则近最优TOU调度问题中经济能力边界的研究，并为粗网格下的轻量化DP-SAC混合方案提供了部署准则。
2. 材料与方法
2.1. 系统配置
本研究的对象是重庆的一个工业微电网。图1展示了其系统结构。主要配置包括约50 kW的光伏系统（通威太阳能股份有限公司，中国成都；TWMPD-72HS550W单晶组件；华为技术有限公司，中国深圳；SUN2000-50KTL-ZHM3组串式逆变器）、100 kW/200 kWh的电池储能系统（磷酸铁锂，LFP，0.5C，2小时系统），以及现场采集的读档数据（2025年，15分钟分辨率）。并网电压为400 V，三相，功率因数为1.0。充放电效率为0.95，荷电状态（SOC）运行范围为[0.2, 0.9]，电池功率为100 kW，总储能容量为200 kWh。光伏输出采用倾斜面辐照度模型进行模拟，该模型输入气象数据，并根据现场测量值进行统计校准（第2.2节）。光伏组件的额定功率为TWMPD-72HS550W，550 Wp。系统参数汇总于表1.
图1.微电网的简化结构：主网、变压器、光伏阵列、电池储能系统（BESS）和读档通过母线连接，中央控制器（SAC/DP）收集状态并发布调度指令。
表1。主要系统和电池参数。
在任何时刻，微电网与主网之间交换的功率，，由功率平衡决定
其中和分别是读档和光伏输出，表示放电，充电。SOC根据一阶动力学演化
其中是充放电效率（双向统一计算），h 是决策步长，kWh 是容量。单个考虑了双向的损耗，给出了约等于的等效往返效率这里采用了对称假设。
电池通过反复的充放电循环逐渐老化。因此，必须量化老化成本并将其纳入调度目标。这便得出了电池退化模型。循环老化以等效全循环（EFC）来衡量[5]。对于SOC轨迹，雨流计数法（ASTM E1049-85）[20]提取半循环，等效循环次数为
，其中κ是与电池化学性质相关的指数。对于LFP电池，循环寿命与深度之间的关系大致由吞吐量主导[6,21]，并且根据该化学反应报告的数值，指数被设定为 κ = 1.05 [6,21]，通常采用的范围为1.0–1.2。在此数值下，等效循环次数主要受吞吐量而非单个循环深度的影响，因此雨流计数法接近于简单的吞吐量核算。尽管如此，雨流计数法仍被保留作为校准基础，因为它能一致地处理部分循环，并可推广到深度依赖性更强的化学体系。退化成本被货币化为.
退化模型本身是采用雨流计数法的循环老化等效全循环（EFC）公式，源自文献[5,6,20]。此处报告了两个独立的检查，因为涉及两个不同的问题。首先，验证训练代理模型：奖励使用基于吞吐量的近似值，而本文报告的每个退化和EFC值都是使用精确的雨流计数计算的[20]。将近似循环成本模型与事后雨流分析进行比较是该文献中的既定程序[22]。在200条不同风格的合成轨迹上，两者平均一致性在2.8%以内（最大10.2%）。在实际调度轨迹上，代理模型始终偏低，阈值规则为4.8%，SAC为7.3%，纯DP为8.9%，因为它计算的是吞吐量而非单个半循环的深度；图2显示所有点都在y = x线下方。由于每种方法的偏差符号相同，方法间的比较不受影响。其次，对指数κ进行了检验，因为其值并非完全确定：拟合此处使用的LFP循环寿命数据得到κ = 1.29，而本文采用的κ = 1.05则遵循了该化学体系报告的吞吐量主导行为[5,21在整个合理的κ = 1.0–1.29范围内，绝对寿命变动约四年，但两种方法的变化趋势一致：在所有测试的κ值下，SAC和价格阈值规则的寿命差异均小于0.3年，因此排序对该选择不敏感。由于较大的κ对深度周期的惩罚比SAC更重，且对MPC周期的惩罚更严厉，因此下文引用的寿命优势实际上是保守的。相应的寿命数据列于附录A (表A2).
其中按554元/千瓦时的采购价格折算，EFC，得出每EFC成本/EFC。在训练中，马尔可夫逐步代理模型近似退化成本，每一步仅取决于，这便于反向传播
其中使用雨流计数法进行校准，使得代理的全轨迹成本与精确的雨流成本相匹配（平均误差<5%）。
图2。四种方法（测试集）实际调度轨迹上退化代理模型与精确雨流计数对比的验证。所有点均位于y = x线下方，证实训练代理模型系统性地偏向保守。
2.2. 场景数据
表2。分时电价（固定每日模式）。
读档数据来自微电网配电系统的现场采集。原始序列跨度约为380天，从2025年1月2日至2026年1月16日，采样间隔为1分钟（读档为电网侧电表与微电网母线电表的总和），预处理将分钟数据重采样为15分钟均值，剔除故障尖峰，并将负值设为零。采用区块留出法划分，将3月/6月/9月/12月作为测试集（四个季节代表月，共122天），其余八个月作为训练集（共258天）。数据集统计信息见表3所有方法均在相同的固定预测噪声水平下进行训练和测试，即读档和光伏的乘性噪声分别为σ = 10%和σ = 25%，该水平不会随预测提前期增加。详细的训练和评估协议见第2.7节，该假设的局限性在第3.7节中讨论主站点是一个单一的工业微电网，很难排除仅凭该站点得出的结论存在特定站点偏差的可能性。为了测试核心结论是否随数据源而变化，引入了一个具有显著不同负荷特征的独立公开数据集进行跨站点验证。用于跨站点验证的学校负荷曲线取自Angizeh等人[发布的24个设施每小时负荷数据集。24]（商业-中学类别），从每小时重采样为15分钟，采用与主站点相同的电价和光伏设置。使用NASA POWER再分析气象数据（每小时GHI、DNI、DHI和温度，站点29.43° N，106.91° E）作为输入，太阳位置计算和Hay–Davies各向异性天空模型[25]将水平辐照度转换到25°向南倾斜的平面。随后推导出光伏输出[26]来自组件额定功率（通威TWMPD-72HS550W，550 Wp，通威光伏有限公司，中国成都）、温度系数（−0.34%/°C，电池温度由Faiman风冷模型估算）以及逆变器/复合效率（华为SUN2000-50KTL-ZHM3），随后使用梯度提升树对模型残差进行统计校准[27]并与现场测量值进行验证（每小时R2= 0.789，RMSE = 5.861 kW（2025年）。误差随预测时界增长是公认的：以该数据集上的持续性预测作为基准，相对误差在15分钟到24小时之间大致翻倍（读档的nRMSE从55%增至102%，光伏的nRMSE从47%增至138%），这就是为什么在第3.7节中讨论.
表3。数据集统计（真实运营数据，2025年）。
预测-自适应框架在自主计算领域已得到广泛应用，其中模型预测即将到来的运行状态，随后控制器据此进行自适应调整；Raza等人[28] 在执行前预测数据库管理系统的工作负载性能，并通过基于案例的推理循环相应地调整工作负载，并报告该调整相比单纯预测显著提高了准确性，强调没有调整阶段的预测器仅仅表现为一个检索系统。我们的设计在每日尺度上遵循相同的“先预测后调整”逻辑：DP价值函数根据次日预测重新计算，SAC动作在每一步调整查询。一个关键区别在于，此类框架明确建模了预测准确性如何随提前期而下降，而已知预测准确性会随着提前期的增加而恶化 [29]，因此这里的噪声被固定在一个刻意保守的水平（第3.7节中讨论）。Khan等人[30]同样表明，在真实波动的辐照度和温度条件下，基于人工智能的建模技术优于传统技术；与此一致，本文的PV模型将物理辐照度模型与数据驱动的梯度提升残差校准相结合。
在全文中，预测噪声幅度由级别因子缩放，其中级别1表示基准预测误差（读档的乘性噪声σ = 10%，光伏的σ = 25%）；级别0对应完美预测，级别k则为基准的k倍。此外还考虑了两种增长型噪声变体，其噪声幅度随预测提前时间线性增加：传统变体在24小时范围内，读档噪声从3%增至8%，光伏噪声从5%增至20%；而严格变体则从基准级别增至读档30%和光伏70%，使得误差在时间窗口结束时大致翻三倍。
图3展示了光伏和读档的波动性。从月度来看，读档和光伏均表现出强烈的季节性，读档均值在4月最低（约10 kW），在7-8月最高（66-68 kW）。夏季的日光伏能量（7月约243 kWh）大约是冬季（12月约34 kWh）的七倍。在日内，光伏输出呈钟形曲线，中午最高，早晚为零，且受云层覆盖影响显著：在相同的7月日期，晴天和阴天的输出可相差数倍（图3b)。这种间歇性是调度必须解决的主要不确定性来源。
图3。可再生能源波动性：（）月平均读档和光伏日发电量（强季节性）；（）四个代表日的PV输出（晴朗/多云夏季日差异显著；日内呈钟形）。b) PV output on four representative days (clear/cloudy summer days differ markedly; intraday bell shape).
2.3. 马尔可夫决策过程建模
表4。状态空间组件（共84维）。
此处，SOC反映了当前可用能量以及充放电裕度，运行范围为[0.2, 0.9]。时间特征由小时、星期、一年中的天数和月份的正余弦编码组成（公式(7)），刻画了分时电价和读档的周期性。
其中, , ，以及分别是小时、星期、一年中的第几天和月份。当前观测值由价格、净读档（读档减去光伏）和光伏输出组成，每个值都通过其峰值归一化到可比的尺度（公式(8)）
预测部分提供未来24小时内每小时的读档、光伏和价格预测，每小时包含三个物品（公式(9)），使策略能够感知跨时段经济机会，例如晚高峰套利
动作空间采用连续归一化功率。动作表示归一化储能功率，负值表示充电，正值表示放电。实际功率为与kW额定功率。受SOC限制约束，执行功率被限制在SOC可行区间内（公式(10)）
也就是说，充电功率受剩余容量限制，而放电功率受可用能量限制。连续动作允许策略精细调整充放电功率，避免了离散能级的量化误差（与离散动作算法的比较见第3.6节).
奖励设计必须在采购成本与电池老化之间进行权衡。分步采购成本为
也就是说，仅对从电网购买的净电量进行计费（上网电价视为零，以避免为了卖电而过度放电）。由于调度目标也考虑了电池退化成本，因此奖励是运行成本与退化成本之和的负值。
其中是电池退化感知权重，是电池退化成本，其定量模型见第2.1节。目标是学习一个策略最大化折扣累积奖励
使用（半衰期约34小时，覆盖全天规划）。
2.4. 优化调度算法设计与改进
图4展示了优化调度算法的整体框架，该框架包含训练和部署两个阶段。在训练阶段，使用DP作为教师来在线蒸馏SAC，使演员逼近最优策略；在部署阶段，SAC动作与DP查找动作通过权重β进行融合。下文将详细描述优化调度算法设计、动态规划与部署融合以及训练参数设置。
图4。方法框架：在训练阶段，DP最优策略被在线蒸馏到SAC中；在部署阶段，SAC动作与DP查找动作通过权重β进行融合（SAC修正的部署时间DP融合）。
软演员-评论家（SAC）是一种最大熵离策略演员-评论家算法[32,33]其目标是
其中是策略熵，α是自适应温度。演员输出一个通过tanh压缩到[-1, 1]的高斯策略，采用256×256的MLP网络。双Q网络抑制高估，价值更新最小化软TD误差。训练采用演示预热：由价格阈值规则生成的3840条演示轨迹作为先验知识注入，并采用线性衰减的采样比例，以缓解长时延迟奖励导致的策略崩溃[34,35]，结合基于势能的塑造（Ng 1999 [36]) 以稳定训练。价格阈值规则规定，当价格低于0.57元/kWh时按额定功率充电，当价格高于0.99元/kWh时放电以覆盖净负荷。这两个阈值是相邻电价档位的中间值，0.57介于谷电价0.3513和平电价0.7823之间，0.99介于平电价0.7823和峰电价1.1995元/kWh之间。电池在平电时段闲置且从不回售电力，该规则在基准中被采用第3.2节 .
纯运行成本奖励（公式(12)）对任何放电行为给予正向信用（因为放电减少了采购），但它无法权衡当前放电与后续更高价格放电的优劣，这导致强化学习倾向于在低价的清晨过早放电。为此，采用了反事实δ奖励[37]，该奖励衡量了相对于电池闲置状态，当前动作引起的采购即时变化
当放电抵消采购时，δ < 0，且奖励为正。当充电增加采购时，会产生少量惩罚，未来的放电收益由价值函数承担。我们进一步引入了基于储能峰值电价潜力的塑造，以CNY/kWh作为峰值电价，为持有的能量分配与峰值电价挂钩的即时价值.
基于势能的塑造不会改变最优策略 [36]，但它缓解了由δ奖励引起的过早放电。
2.5. 动态规划与部署混合
为了弥补SAC在训练中可能与最优基准之间存在的差距，我们引入了动态规划和在线蒸馏，并将其与SAC结合以逼近最优成本。动态规划（DP）[9]在给定预测的情况下求解精确的最优策略。状态被离散化为96个时间步×151个SOC水平，动作被离散化为31个功率水平。贝尔曼方程进行反向递归.
其中和由功率水平、容量和效率决定（公式(2)）。最优动作表被同时记录
在噪声预测下，DP输入是噪声读档/光伏预测（与MPC共享），由此产生的是在噪声预测下的最佳动作。
为了将DP的精确机会成本转移到连续动作DRL中，本文采用了在线蒸馏。与离线行为克隆[38,39]和固定策略蒸馏[40]不同，后者从固定轨迹或教师网络中学习，容易出现分布偏移，而所提出的蒸馏方法（下文称为方法J）使用DP动作表作为教师来蒸馏连续动作。在训练期间，SAC模仿其访问的(t,SOC)状态下的DP最优动作，在演员损失函数中添加行为克隆项
从1.0线性衰减至0.05（前期强模仿，后期自由学习），并且在每个回合开始时使用当日噪声预测重新计算DP表。算法1给出了训练过程。
| 算法 1DP在线蒸馏训练。 |
| 初始化SAC（演员、两个评论家、alpha） |
| for episode = 1..N: //N ≈ 2000个回合 |
| 使用日噪声预测求解动态规划 -> A(t,SOC) |
| for step = 1..T: // T = 96（1天） |
| a_sac ~ actor(s) |
| 这种设置使策略在训练期间能够适应预测误差，而在评估时则不进行去噪。训练超参数在中给出 a = a_sac (训练中的 a_sac；部署中的) |
| (s,r) ← env.step(a) |
| 更新评论家（TD）、演员（RL + BC项）、alpha |
| 返回SAC演员 |
训练完成后，在每个部署步骤中，DRL动作和DP动作按如下方式混合：
其中是混合权重（此处为0.1，DP占主导）。DP表每天计算一次（31个层级下约178毫秒），远轻于MPC的每步重规划（约0.7秒/步）。该混合机制的分析见实验结果第3.4节.
2.6. MPC基准模型
2.7. 训练与评估设置
中的退化模型一致本节给出了统一的训练和评估设置。训练和评估均在固定的预测噪声水平下进行（读档 σ = 10%，光伏 σ = 25%，全程保持不变）。在评估期间，每个测试日的噪声实现是独立重新采样的，并且不与训练阶段共享，以避免信息泄露。作为经济比较基准，MPC 预测输入与 SAC 状态中的预测共享相同的来源和噪声，确保两者在相同的信息条件下进行比较。表5.
表5。训练超参数。
在报告中提到的多天、多季节验证为清晰起见，SAC变体在全文中均以其训练配置命名。SAC holdw02和SAC holdw01分别表示基于势能塑造权重w = 0.2和w = 0.1的基准SAC，且退化权重λ = 0.2（holdw02对应于报告中λ扫描的λ = 0.2水平）；SAC delta noshape表示不带潜在塑造的反事实δ-奖励变体。在训练期间由DP最优SOC轨迹引导的变体（该轨迹惩罚偏离最优轨迹的行为，使策略自动学习双周期调度）被称为SOC轨迹引导（方法B）。DP在线蒸馏变体被称为方法J（中给出 a = a_sac (训练中的 a_sac；部署中的).
这3840条演示轨迹由价格阈值规则生成，并作为先验知识注入，以缓解长时延迟奖励导致的训练不稳定问题。该设计选择对结论的影响将在第3.1节中讨论。这些轨迹预填充到独立的缓冲区中，并以线性衰减的比例进行采样，因此其样本数量并不直接对应总训练步数。所有方法均在统一的122天测试集上进行评估，采用完整的96步展开，报告每日运行成本以及精确的雨流退化成本（公式 (4)）以及EFC。多性向方法的结果以3个随机种子的均值±标准差形式报告。
相同固定噪声的第3节在硬件在环平台上进行：微电网模型运行在Speedgoat实时目标机（Speedgoat GmbH, Liebefeld, Switzerland）上，而训练好的策略运行在Beckhoff CX9240边缘控制器（Beckhoff Automation GmbH & Co. KG, Verl, Germany）上，因此这些典型日的结果是在实时平台上测得的，而非通过离线模拟生成，而122天的系统性评估则是在相同设置下的离线模拟中进行的。为了验证部署方案的实时可行性，选择了跨越四季的六个典型日，并将训练好的策略写入Beckhoff CX9240边缘控制器（图5a)，通过Modbus TCP连接到Speedgoat实时模拟平台上的微电网模型（图5b)，用于硬件在环（HIL）实时模拟验证。Speedgoat是一款工业级实时模拟和HIL测试平台，与MATLAB/Simulink Real-Time (R2022b)深度集成。它在实时目标机上运行控制和被控对象模型，支持包括Modbus在内的多种I/O协议，广泛用于电力电子和微电网控制器的原型开发[41]。被控对象与控制器之间的信号交换如下图6在此，微电网模型（功率平衡、SOC动态和退化代理模型）在该实时目标机上运行。训练好的SAC动作网络被导出为ONNX格式并写入Beckhoff CX9240控制器以进行实时推理，DP最优动作表每天更新一次作为查找表，并且在每个实时步长内完成β加权混合（公式(21)），控制器通过Modbus TCP与平台通信。在每个15分钟的决策步长内，控制器计算（动作网络前向传播约0.156毫秒；DP查找约178毫秒，每天一次）远短于步长，因此实时性要求很容易满足。典型日的实时模拟验证了实时约束下部署方案的可行性。六天的每日成本列在表6.
图5。硬件在环部署硬件：（）Beckhoff CX9240边缘控制器，托管退化感知SAC和DP混合算法，并通过Modbus TCP与Speedgoat平台通信；（）Speedgoat实时模拟器，运行微电网实时模拟模型作为硬件在环验证中的受控对象。b) Speedgoat real-time simulator running the microgrid real-time simulation model as the plant in hardware-in-the-loop validation.
图6。Speedgoat实时模拟平台：微网环境配置。实线表示功率路径；虚线表示信号和接口链路（测量值、调度指令以及PCC至主网的连接）。箭头指示功率或信号的流向。
表6。跨季节多日验证：在硬件在环平台上获取的覆盖全部四个季节的六个典型日期的每日运行成本（人民币/天）。最后一列给出了相对于纯DP的混合成本。
这六天分别是2025年8月5日（高负荷夏季）、2025年3月24日（低负荷春季）、2025年9月14日（低负荷秋季）、2025年12月15日（高负荷冬季）、2025年12月28日（低负荷冬季）和2025年6月28日（多云夏季）。这六天是在Speedgoat实时模拟器上运行的，策略部署在Beckhoff CX9240控制器上，因此报告的轨迹是实测的，而非在离线环境中模拟的。此次硬件在环测试旨在验证实时可行性和季节覆盖范围；它并非长期稳定性测试，多周连续的硬件在环运行将留待未来工作完成。这两天的表现如图6所示。图7.
图7。在硬件在环平台上测得的两个冬季验证日（2025年12月15日，高读档，顶部；2025年12月28日，低读档，底部): SOC (左) 和电池功率 (右) 适用于纯 SAC、MPC 和价格阈值规则。
使用了四个定量标准来评估HIL验证。(i) 实时步长余量。每步计算（SAC前向传播约0.156毫秒，每日DP查找约178毫秒）在900秒的决策窗口中留下了超过99.9%的余量，且在任何运行中都没有错过决策截止时间。(ii) 状态边界。在所有典型日期的实时运行中，SOC始终保持在其运行范围[0.2, 0.9]内，记录到的边界违规次数为零。(iii) 链路稳定性。在任何运行中都没有发生Modbus TCP通信超时或控制器故障，并且每个调度指令都在其15分钟周期内发出。(iv) 与离线模拟的一致性。对于相同的典型日期，硬件在环下的SOC轨迹与离线模拟一致，平均绝对SOC偏差为0.5%，每日运行成本差异为2%。选择这四项是因为它们分别探测了边缘控制器可能出现故障但在离线模拟中无法察觉的属性：步进裕度测试实时可行性，SOC边界测试安全约束，链路稳定性测试通信路径，而离线模拟一致性检查则验证控制器的实现。
3. 结果与讨论
3.1. 经济寿命权衡
退化感知体现在训练退化权重λ（表7，即公式(12)中的λ）中。对训练退化权重λ进行八级扫描的结果见表7和图8。退化成本通常随λ减小而降低（从13.26元/天降至8.49元/天，降幅约36%，在种子噪声范围内），EFC从0.479降至0.306。λ越大，循环次数越少且深度越浅，电池保存越好。在稳健区间λ ∈ [0.03, 0.5]内，运行成本基本持平（654.3至660.9元/天，波动<1%），而当λ ≥ 1.0时，运行成本显著上升（668至713元/天），因为过大的退化权重过度保护了电池，从而错失了峰值时段的套利机会。λ = 2时的运行成本种子方差。0明显更大（713.5 ± 14.6）；在极端权重下，策略在极度保守（循环次数少）与适度放电之间摆动，证实了过度保护的代价。这一帕累托前沿提供了一个基于规则的方法难以轻易实现的明确经济寿命权衡。在最小λ（0/0.03水平）下，退化成本最高（约13.3元/天），表明忽略退化项的主要代价是寿命损失。经过三种子重新评估，该方差为±14.58元/天，是其他水平（±1.6至±3.6元/天）的五到七倍，这反映了在极端退化权重下策略在极度保守与适度放电模式之间的摆动；它不会影响稳健区间λ ∈ [0.03, 0.5]。6），这反映了在极端退化权重下策略在极度保守与适度放电模式之间的摆动；它不会影响稳健区间λ ∈ [0.03, 0.5]。
图8。退化权重λ帕累托前沿：退化与运行成本之间的可调权衡（点按λ着色；较大的λ可保护电池；数值见表7).
表7。退化权重λ的帕累托前沿（8个等级，122天，含噪声）。
将退化成本转换为电池寿命（200 kWh × 554元/kWh = 11.1万元，4000 EFC），表8和图9给出每种方法的电池寿命外推。具体而言，每EFC成本为111,000元 ÷ 4000 ≈ 27.7元/EFC。将每日退化成本除以27.7元/EFC即可得到每日EFC，年EFC为每日值的365倍，电池寿命则是额定4000 EFC除以年EFC。SAC holdw02（第2.7节) 电池寿命为23.9年，比MPC（17.3年）长38%。循环次数最少的DQN拥有最长的寿命（25.5年）。考虑退化的调度策略的经济价值显而易见。MPC通过反复充放电激进地利用价差，每天约有0.63个等效全循环（EFC），代价是电池老化更快。
图9。电池寿命外推（200 kWh，4000 EFC）：SAC holdw02 为23.9年，比 MPC 17.3年长38%（仅循环老化为上限）。
表8。仅循环老化下的电池寿命外推（上限）（200 kWh × 554元/kWh，4000 EFC）。
在单点指标上，价格阈值规则不逊于SAC（寿命24.0年 vs. 23.9年；退化成本12.65元 vs. 12.69元/天）。其差异化价值在于不可调优——该规则无法像λ那样显式地在成本效益与寿命之间进行交易，且其充放电切换更频繁（每天4.4次 vs. 2.6次），为可连续调节的SAC留出了空间。该外推仅考虑循环老化而忽略日历老化，因此它是电池寿命的一个上限。
3.2. 系统性评估与纯DRL的经济边界
本节首先展示系统性评估结果，以证明部署方案的必要性。尽管退化感知型纯DRL能有效缓解老化，但在简单的TOU调度中，其独立成本性能难以达到规则级水平，这使得以DP为主导的部署方案变得必要且有效。表9和图10给出了代表性DRL方法的每日运行成本对比。纯RL的最佳成本为CNY 649.4/天，对应SOC轨迹引导变体（方法B，第2.7节），高于价格阈值规则（641.8）。即使采用DP在线蒸馏（方法J），成本仍为642.2元/天，依然高于MPC（618.1）。最差的变体（1分钟粒度SAC）成本高达760.4元/天，其中更细的时间粒度加剧了长时程信用分配的难度（每日决策步数从96步增加到1440步，使信用链延长了约15倍）。
图10。系统性评估：代表性DRL方法与MPC（618.1）及价格阈值规则（641.8）的每日运行成本对比。
表9。系统性评估：代表性DRL方法的每日运行成本（122天，含噪声）。
在Speedgoat平台上对涵盖四季的六个典型日（包括两个冬季日）进行实时模拟，导出的数据用于微电网实时优化调度算法的行为诊断。图11给出了典型日行为诊断。在高读档日（08-05），SAC在早高峰期间过度放电，在晚高峰前未充电，且晚高峰放电量为零。相比之下，MPC在平段充电并在晚高峰再次放电（两个循环），覆盖了晚高峰负荷。在低读档日（03-24），SAC未能利用储存的能量，以SOC 0.81结束全天，错失了高峰时段套利机会。两种失效模式均源于价值函数未能学习到峰值电价下储存能量机会成本的跨时概念。相应的每日成本如下所示表6，季节性分布如图所示图12. 图12显示成本排名在不同日期并不稳定——MPC在其中多个日期成本最低——这就是为什么本文的成本比较是基于完整的122天测试集进行的。
图11。典型日行为：在高负荷日，纯SAC提前放电且无傍晚高峰放电；在低负荷日，SAC储能并错失高峰套利（MPC在平段充电并在傍晚高峰放电）。在分图（）中，水平虚线标记（P_{bess}=0）；正值表示放电，负值表示充电。,d), the horizontal dashed line marks (P_{bess}=0); positive values denote discharge and negative values charging.
图12。跨季节的多日验证：六个典型日内各方法的每日运行成本（顶部）以及相对于纯DP的混合成本（底部），阴影部分表示±0.2%的种子噪声带。
为了定位故障根源，对信用分配机制本身进行了检查。两个充放电周期需要根据当前状况判断是否为晚高峰储存能量，其收益持续8-10小时。δ奖励仅提供即时信号（抵消采购的放电为正），因此晚高峰套利收益必须跨周期传播回价值函数。在γ = 0的情况下。995，这种长程信用链接难以建立，且价值函数低估了当前保留能量并在晚高峰放电的机会成本。排除性分析表明，z分数归一化（-0.4%）、训练月与测试月的差距（+11.6% vs. +10.3%）、1分钟粒度（760）以及预测时界（MPC-8小时 ≈ MPC-24小时，+0.2%）均不是差距的来源，PPO [42] 的表现与SAC相似（不考虑算法差异）。残差解释指向了问题结构和DRL表示本身的局限性，即长时程信用分配是简单但具有时间依赖性问题中强化学习的固有难度。
演示预热本身是由价格阈值规则生成的，因此强化学习在训练过程中将该规则行为作为先验知识获取。即便如此，其运行成本仍高于规则（表9），这表明差距不在于先验知识不足，而在于长时程信用分配本身，价值函数无法将傍晚高峰的收益回传至早晨的决策。
3.3. DP边界与在线蒸馏
在TOU机制下，考虑退化的DRL方法可以减少退化，但其运行成本始终高于MPC。本节的重点是将其成本降低至接近甚至低于MPC基准。研究发现，在存在噪声预测的情况下，精细离散化DP（151个SOC水平×31个功率水平）的闭环查表（针对当前真实SOC采取最优动作）实现的日成本为620.6元/天，接近MPC（618.1元）。将功率水平加密至61个，可将其降低至618.4元/天，达到MPC水平。图13给出了DP价值函数V(t,SOC)。在高负荷日（08-05）傍晚高峰（t = 19 h）之前，保持SOC 0.8和0.2的价值差异约为49元人民币，即现在保留更多能量可以在傍晚高峰节省约49元人民币，因此DP选择在平段充电并在傍晚高峰放电（两个周期）。在低负荷日（03-24），这一差异接近于零（约1元人民币），DP判断在傍晚高峰前储存能量是不必要的。DP对双周期时机的把握十分精准，其决策源于精确的机会成本，而非经验法则。
图13。DP机会成本V(t,SOC)：在晚高峰（t = 19 h）之前，高负荷日保持SOC 0.8与0.2的价值差约为49元，而低负荷日接近于零，这解释了DP何时为晚高峰充电。
DP是一种精确的基于模型的解决方案（贝尔曼递归），在方法论上与样本驱动的DRL学习不同。其强大的性能不能归功于学习。尽管如此，它提供了参考价值信息，包括噪声预测下最优可达成本的估计、可解释的价值函数以及轻量级部署选项（参见第3.4节).
经过DP在线蒸馏后，SAC的成本为642.2元/天，仍高于其DP教师模型（620.6），差距约为3.5%，即保真度损失。其原因有二：从84维状态到动作的映射精度有限，以及在α衰减后期自由RL学习引入的漂移。因此，仅靠教学不足以让DRL完全复现查表最优策略，DRL的价值也不在于复制成本性能。
3.4. 部署时间 DP-SAC混合与鲁棒性
部署时间混合（β = 0.1）将成本从620.6元人民币（31级粗网格上的纯DP）降低到硬件在环平台上的619.4元/天。图14给出β扫描结果；当β ≈ 0.1 (619.4)时，运行成本最低，随后随β单调上升（纯SAC最高达642）。退化成本随β单调下降（从17.5降至13.9）。因此，混合权重β构成了一个可调节的经济寿命旋钮，较小的β有利于性价比，较大的β则有助于保护电池。β = 0.1对应于以DP为主并辅以SAC微调，平衡了性价比与鲁棒性。在不同工况下也考察了相同的权衡关系，见图15：在无噪声、基线噪声和三倍基线噪声条件下重复扫描，测试日分为高读档和低读档两组，从而可以直接读出β = 0.1的鲁棒性。
图14。部署混合权重β扫描：在低β值时（β = 0.1，619.4元人民币/天，而31级网格的纯DP为620.6元人民币/天）运行成本最低，且退化程度随β单调变化，从而形成了一个成本性能与寿命的调节旋钮。
图15。混合权重β在不同运行条件下的敏感性：无噪声、基准噪声和3倍基准噪声，测试日被分为高读档和低读档组。垂直虚线标记了β = 0.1，这是本文采用的部署设置。
为了阐明混合机制，将DP功率水平加密至61/121，并重新评估纯DP。在31个水平下，纯DP为620.6元/天，混合（β = 0.1）为619.4元/天，每天改善约1.2元。加密至61个水平后，MPC水平下的纯DP降至618.4元/天，混合带来的额外收益收敛至约0.2元/天。这表明混合的价值在于利用SAC连续动作来补偿粗网格的量化误差。如果允许使用更精细的网格，纯动态规划（DP）更简单（无需神经网络、无需训练、无种子方差）且同样稳健，因此应直接采用精细网格的DP查询，而混合方法仅作为粗网格或计算受限场景下的可选增强方案。纯SAC的独立成本效益依然较差（每天642.2元人民币），只有在结合DP的精确机会成本时才显现价值。典型日行为进一步证实了这一点（2025年9月14日，一个低读档的秋日，日平均读档约为21千瓦，约占年均36千瓦的57%。8 kW，光伏输出高达约1180 kWh；其无储能采购成本约为185元/天，仅为122天平均值的四分之一左右）；纯SAC策略保守储能（日末SOC为0.74，日成本130.72元），纯DP策略激进放电（日末SOC为0.21，124.7元），而β = 0.5的混合策略则采取折中方案（日末SOC为0.38，115.1元），成本更低。这两种策略的偏差方向相反，加权平均值更接近最优解（此处使用β = 0.5仅为放大对比效果。实际部署配置为β = 0.1）。
对预测噪声的敏感性是部署方案的一个重要维度。图16展示了在预测噪声水平x0至x6（基准的零到六倍）下，每种部署方案的成本退化情况。在x3/x6水平下，部署时间混合方案（β = 0.1）的成本分别为+3.5%/+7.6%，纯DP方案为+4.2%/+9.1%，纯SAC方案为+0.0%/+0.6%，而MPC方案为+4.55%/+9.3%。在适度噪声下，以DP为主的方案优于MPC，因为MPC每一步都会根据有噪声的预测进行重新规划，且预测误差会直接污染决策，而DP的动作查找更加稳定，使用固定噪声训练的DRL静态映射则最为稳定。在高噪声（x6）环境下，以DP为主的方案成本显著上升，得益于SAC的平滑作用，部署时间混合方案的表现略优于纯DP方案。表10以表格形式汇总了相同的比较：针对每种方法和每种噪声模型，列出了相对于无噪声情况下的运行成本下降情况，从而可以直接读取中等和高噪声下的排名，而无需从图中推断。图17展示了噪声强度随预测时域增长的噪声模型的相同比较，以及表11给出了部署选项和两个基准在基准噪声水平下的底层性能下降百分比，以便能够通过数值验证鲁棒性排序。
图16。对预测噪声的鲁棒性（x0–x6，基准预测噪声的倍数）：在x3/x6处，部署时间混合+3.5%/+7.6%，纯DP+4.2%/+9.1%，SAC+0.0%/+0.6%和DQN-0.0%/+0.7%，均优于MPC（x3 +4.55%）。
图17。对时域相关预测噪声的鲁棒性：各噪声模型和方法相对于无噪声情况下的运行成本退化。
表10。对预测噪声模型的鲁棒性：122天测试集上相对于无噪声情况下的运行成本退化。“增长型”表示噪声强度随预测提前时间线性增加。
表11。对预测噪声的鲁棒性（122天，成本退化%）。
3.5. 统计检验与跨数据验证
核心结论通过双侧配对威尔科克森符号秩检验（n = 122次每日配对）得到验证。结果见表12。退化优势显著；SAC holdw02的每日退化中位数比MPC低2.87元/天（< 0.0001），比阈值规则低0.34元/天（< 0.0001）。运行成本差距显著，比MPC高31.76元/天（< 0.0001) 且比阈值规则高出 6.09 (< 0.0001)。连续SAC比离散DQN显著便宜，每天可节省8.38元（= 0.0003），且无显著性能退化差异。所有三个核心结论（退化优势、运行差距、连续/离散对比）均通过配对检验。 < 0.0001) and 6.09 higher than the threshold rule (p < 0.0001). Continuous SAC is significantly cheaper than discrete DQN by CNY 8.38/day (p = 0.0003), with no significant degradation difference. All three core conclusions (degradation advantage, operating gap, continuous/discrete comparison) pass the paired test.
表12。配对威尔科克森检验（122天，SAC holdw02 与各方法对比）。
为保证可复现性，相同配置下三个随机种子的运行成本标准差为：SAC为CNY ±2.76/天（<0.45%），DQN为±7.1（约1%）。在不同机器上，相同配置和种子的差异为0.4–2%。SAC训练表现稳定，而DQN相对波动较大，这是连续离策略方法的一个实际优势。
运行成本的种子到种子传播约为0.4%（第3.5节）；因此，单日内约±0.2%的方法间差异在此传播范围内，不被视为具有统计学意义。
运行时计算负载和流畅度总结在表13单个SAC演员的前向传播耗时0.156毫秒，而MPC在线求解线性规划约需687.6毫秒/步，这使得SAC的速度快了约4406倍（单步推理；MPC不含数据准备时间）。在15分钟的决策粒度下，900秒的窗口足以进行每步MPC重规划，因此计算不是限制因素。报告加速比是为了完整性。以每日充放电反转次数（10个代表性天数）衡量的平滑度，MPC为8.6，阈值规则为4.4，SAC delta_noshape为3.7，SAC holdw02为2.6。SAC是MPC的3倍平滑，减轻了功率转换系统（PCS）和开关器件的压力。
表13。计算效率与平滑度。
为验证结论并非特定数据的偶然结果，进行了两项跨数据测试（表14）。跨年份（2025年训练，2024年测试，统一关税制度），价格阈值规则为429.0，SAC delta_noshape为450.9，SAC holdw02为458.9，MPC为404.6。SAC比规则低5-7%，结论依然成立。该差距比约0.4%的三种子差异大一个数量级，因此结论并非种子偶然结果。跨站点验证将主站点替换为学校读档数据[24]（读档平均功率为88 kW，而36.8 kW），价格阈值规则为1310.3，重新训练的SAC为1346-1384，MPC为1339.6。此处MPC比规则贵2.2%，进一步支持了该规则接近最优的判断。这一差距与重新训练的SAC（1346-1384元/天）的波动范围相当，且远小于14.2%的零样本差距。零样本迁移（方法J直接迁移至学校）的差距为14.2%，重新训练后收敛至2.8%，表明跨站点差距源于站点特定的最优策略，而非方法缺陷。需要注意的是，跨站点数据集是学校的负荷曲线而非第二个工业站点，因此在工业微电网上的更广泛泛化仍需进一步的数据收集。
表14。跨数据验证（2024跨年+学校跨校区，每日运行成本CNY/天）。跨校区列中标记为“—”的条目表示未在学校数据集上重新评估的配置，因为这需要重新训练。
除了跨年份和跨站点测试外，经典方法的排名在不同电池容量（×0.5和×1.5）以及不同平缓和陡峭的电价结构下（在其他条件相同的情况下）保持稳定：价格阈值规则和纯DP在每种变体中彼此的差距均保持在2%以内，这证实了该规则接近最优，且经典方法是合适的基准。这两种方法在图18和表15. 图18中展示了阈值规则和纯DP在每种变体下的平均每日成本，并且表15列出了相应的值，证实了这种近乎最优的状态并非基础配置所特有。
图18。跨电池容量和电价结构的泛化：价格阈值规则和纯DP的平均每日运行成本。
表15。跨电池容量和电价结构的泛化：在其他条件相同的情况下，价格阈值规则和纯DP的平均每日运行成本（元/天）。
容量变体分别将电池的额定功率和能量按0.5和1.5的比例进行缩放；电价变体将四级分时电价替换为更平缓的结构（峰值1.00，谷值0.45元/kWh）和更陡峭的结构（峰值1.60，谷值0.30元/kWh），其余所有设置保持不变。
3.6. 定位及与现有文献的比较
本文的系统性评估表明，在结构简单的分时电价调度中，纯深度强化学习的成本效益存在固有边界，而以动态规划为主的部署方案在轻量化计算下可达到与模型预测控制相当的成本水平。这为工程选择提供了依据。当规则接近最优且问题结构简单时，以动态规划为主的方案是安全的选择。当问题复杂度增加且规则不再接近最优时，深度强化学习的表达能力将更具价值。在混合方案中，DRL作为一种轻量级的微调选项和鲁棒性来源，其训练侧退化权重λ（表7）还提供了一个基于规则的方法难以给出的明确经济寿命权衡。对于从业者而言，这表明在考虑深度强化学习之前，应先在结构简单、接近规则最优的问题上评估经典方法（规则/动态规划/模型预测控制）的价值。
对于从业者而言，选择取决于运行环境而非单一的全局排名。当计算资源充足且能负担精细网格时，应直接使用纯DP：它更简单，无训练成本和种子方差，且同样鲁棒。当计算受限或仅有粗糙网格可用时，部署时的DP-SAC混合方案更佳，因为连续的SAC动作能补偿粗糙网格的量化误差。这种混合方案还通过β和λ带来了预测噪声鲁棒性以及可调节的经济-寿命旋钮。我们还明确指出，在处理该问题时，纯粹的深度强化学习在运营成本方面并不优于简单的价格阈值规则；只有当它与动态规划提供的精确机会成本相结合，且问题变得足够复杂以至于规则不再接近最优时，其价值才会显现。图15表明在总体上，β = 0.1 与纯动态规划在数值上无法区分（误差在0.3%以内），且在高读档日更便宜，在低读档日更昂贵，随着噪声增大，更大的β会变得更具优势——因此β更像是一个权衡旋钮，而非调优常数。Khan等人[通过对实际运行条件下光伏控制器选择的研究，也得出了相同的结论。30].
在β扫描中，测试日根据其日均净读档被分为测试集中的最高和最低三分之一，从而分离了高读档和低读档条件下混合权重的效应。
与Altimania等人[16]报告的DRL优于MPC的结果的关键区别在于问题复杂度；他们的测试包括可控读档和灵活市场（动作空间2n× 11)，而纯粹的TOU套利则简单得多，且规则已接近最优（价格阈值规则与MPC仅差3.8%）。本文的结论与他们的结论是互补而非矛盾的，因为DRL的优势随问题复杂度的增加而增长，而经典方法在简单问题上更可靠。大多数DRL调度论文旨在超越基准并报告正面结果，很少系统地界定适用边界。本文通过系统评估提供了这一边界。
3.7. 局限性与未来工作
退化模型仅考虑循环老化。因此，若干效应未被体现。日历老化独立于循环过程且在LFP电池中具有显著性，已被排除[21]；假设电池在约25 °C的恒温下运行，因此不应用阿伦尼乌斯温度加速因子，在实际温度波动下可能会低估退化程度；以及老化对充放电倍率的依赖性，[5]确实代表，但此处未建模，尽管此处的调度运行接近0.5C设计点。因此，报告中的寿命数据表8和图9这是仅基于循环老化外推法得出的上限，而非预期使用寿命，应将其视为方法间的比较，而非绝对预测。将日历老化、温度和C倍率依赖性纳入退化模型将作为未来工作。
预测准确度随提前期增加而下降的视界相关噪声模型是其自然延伸。敏感性分析显示，当预测噪声强度随预测提前期线性增长（从第一步的基准水平到24小时视界时约为该水平的三倍）时，各方法的相对排序保持不变：部署时间混合方法性能下降1.18%，纯DP下降1.73%，MPC下降1.96%，而纯SAC基本不受影响（+0.04%）。表10报告了三种噪声模型下各方法的性能下降情况，并且图17绘制图表显示：在依赖预测的方法中，混合策略的性能退化最少，而SAC基本上不敏感，因为它的映射是在固定噪声下训练的。
这项工作可以从两个方向进行扩展。第一个方向涉及长时间的实时模拟。目前的硬件在环验证涵盖了六个典型日，其固定预测噪声水平不会随预测时界增长。一个自然的下一步是运行部署方案更长的时间，例如在Speedgoat平台上，在多变的天气和读档条件下进行连续数周的实时模拟，同时预测噪声幅度随提前时间增加。这将验证DP-SAC混合控制的长期稳定性，包括SOC边界满足情况、每日查找表刷新以及Modbus TCP链路的通信鲁棒性，并量化实时轨迹与离线模拟之间的一致性。第二个方向涉及长期规划部署。目前的决策时界为96步的单日。将该框架扩展至多日或季节性规划，整合电池容量衰减模型，并将调度层与资产级决策相结合，将测试该方案在电池需进行全寿命周期管理而非单日管理时，是否仍能保持成本效益。
4. 结论
本文提出了一种用于工业微电网电池储能调度的退化感知SAC（DA-SAC）框架。该框架通过可调权重λ将雨流法校准的循环老化成本嵌入奖励函数中，使运行成本与电池寿命之间的权衡变得显性，并在部署阶段将此学习策略与DP-SAC混合方案相结合。基于一年的真实15分钟数据进行的系统性评估，辅以典型日期的硬件在环实时模拟，得出了三个结论。
首先，考虑退化的纯SAC算法有效缓解了老化问题，相较于MPC将退化成本降低了约28%，并将电池寿命延长了38%。然而，其运行成本性能存在固有边界。经济上限为649.4元/天，高于价格阈值规则（641.8），行为诊断将此边界归因于长时程信用分配问题，即价值函数无法将傍晚峰值套利收益回传至早晨决策。
其次，在噪声预测下，采用精细离散网格的闭环查表DP基准已接近MPC水平（在功率等级加密后为620.6元/天和618.4元/天），而其每日一次的查表计算成本远低于MPC的每步重规划。因此，DP提供了样本驱动的DRL无法复制的精确机会成本。
第三，部署时间DP-SAC混合（β = 0.1）通过连续SAC动作补偿了粗网格DP的量化误差，将31级纯DP的成本从620.6元/天降低至619.4元/天，同时保持了优于MPC的预测噪声鲁棒性（成本退化3.5% vs. 4.55%）。
除了这些结论，训练侧权重λ提供了一个可调节的成本寿命帕累托前沿，且HIL实时模拟证实该方案在15分钟决策周期内满足实时性要求。因此，本文为考虑退化的储能调度提供了一个可部署框架和轻量化部署方案，并为规则近优问题的方案选择提供了系统性证据。由于结论是在固定预测噪声和单一主站条件下得出的，未来的工作将把验证扩展到更长的实时运行和长期规划周期。
局限性包括单站点数据、固定的预测噪声水平、仅基于循环老化的寿命外推，以及为期六天的硬件在环试验；这些将在第3.7节中讨论中详细讨论。未来的工作将把验证扩展到多周实时运行，增加第二个工业站点，并将调度与容量衰减模型相结合。