You need to enable JavaScript to run this app. DQN电池充放电智能体observation space添加SOC及环境反馈方案问询
优惠活动
大模型
产品
解决方案
定价
更多

DQN电池充放电智能体observation space添加SOC及环境反馈方案问询

基于DQN的电池充放电智能体观测空间优化问题

项目当前开发基础

  • 核心目标:开发基于强化学习DQN框架的电池充放电决策智能体,明确环境状态改动到智能体的最优反馈路径,实现决策闭环
  • 现有观测结构:智能体可接收时间步长17、单步特征数5的时间序列预测数据,原始观测空间为(17,5)结构的表格数据集,智能体基于该观测序列输出充放电决策
  • 网络迭代规划:当前策略网络仅使用Dense层搭建,后续计划替换为Conv、LSTM层,适配时间序列特征提取逻辑以提升决策精度

待评估的观测改造方案

当前需要将电池实时荷电状态(SOC)(对应空电、半满、满充等不同电池状态)纳入观测空间,初步梳理了三种实现方式:

  • 方案一:在原有(17,5)的二维数据结构中新增一整列,列内所有17个时间步的取值统一为当前实时SOC
  • 方案二:在原有(17,5)的二维数据结构中新增一整行,行内所有5个特征的取值统一为当前实时SOC
  • 方案三:先将原有(17,5)的二维时间序列展平为一维向量,再单独拼接一个标量值存储当前实时SOC

方案相关顾虑

  • 对方案一的疑虑:整列填充同一个SOC值的实现方式较为基础,不确定这种数据排布是否会对模型性能产生负面影响
  • 对方案三的疑虑:二维时间序列展平的操作会破坏原始时间维度结构,担心后续接入Conv、LSTM层时出现输入结构适配问题
  • 核心疑问:三种实现方案是否存在明显的设计不合理之处?如何选择才能兼顾实现成本、后续模型迭代兼容性、最终决策效果?

内容的提问来源于stack exchange,提问作者CarterB

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.06 11:06:06