You need to enable JavaScript to run this app. PyTorch实现联邦深度Q学习时多智能体回放缓冲区已存状态异常问题咨询
优惠活动
大模型
产品
解决方案
定价
更多

PyTorch实现联邦深度Q学习时多智能体回放缓冲区已存状态异常问题咨询

核心问题定位

你遇到的「缓冲区已存经验被后续操作篡改、所有智能体缓冲区的current_state和next_state最终趋同」的现象,本质是NumPy数组的浅引用(内存视图)导致的共享内存问题,和“将缓冲区定义为全局变量”没有关联。

问题匹配你的运行现象的具体逻辑

  • 你代码中使用的全局current_state、next_state是二维NumPy数组,NumPy的切片操作(比如current_state[e, :])默认返回原数组的内存视图,并非独立的数值拷贝——视图没有专属的内存空间,只是指向原数组某一行内存的“快捷引用”。
  • 你把这个视图直接存入经验回放缓冲区时,缓冲区里存的不是存入时刻的状态数值快照,而是这个快捷引用本身:只要后续代码修改了全局数组对应内存块的数值,所有之前存进去、指向这块内存的引用,读到的数值都会同步变化。
  • 这套逻辑完全对应你贴的运行结果:
    1. time 0步骤给agent0存经验时,存的是指向全局数组对应行的引用;循环切到agent1的步骤时,代码对全局数组做覆写操作,已经存在agent0缓冲区里的旧经验数值就会被同步修改,才会出现time0的agent1步骤打印时,agent0缓冲区的action数值发生变化的诡异现象。
    2. 到time1步骤,你执行current_state[e, :] = next_state[e, :]的内存覆写操作,所有之前存在两个智能体缓冲区里、指向这块共享内存的引用,读到的数值会全部变成最新的全局状态值,最终表现为所有缓冲区的current_state、next_state完全一致。

代码中存在的其他逻辑疏漏

  • 主程序入口的执行顺序错误:你贴的代码逻辑是先调用DQNtrain(),之后才初始化replay_buffer_t,正常运行时会触发“变量未定义”的报错,大概率是你整理简化代码片段时打乱了实际执行顺序,这个疏漏在正式开发时很容易踩坑。
  • BasicBuffer类的初始化逻辑失效:你在类的__init__方法中接收了max_size参数,但内部创建deque时直接写死了maxlen=10000,根本没有使用传入的容量参数,缓冲区实际容量和你初始化时传入的agent_buffer_size并不一致。

修复方案

核心修复思路是在把状态存入缓冲区前,生成独立的数值副本,切断和外部全局数组的引用关联,两种改法选其一即可:

  • 直接修改BasicBuffer的add方法,对传入的NumPy数组做拷贝后再存入:
    def add(self, current_state, action, reward, next_state, done):
        # 拷贝生成独立数组,避免共享外部内存
        experience = (
            current_state.copy(),
            action,
            np.array([reward]),
            next_state.copy(),
            done
        )
        self.buffer.append(experience)
    
  • 或者在循环调用add方法时,对传入的状态切片提前做拷贝:
    replay_buffer_t[e].add(
        current_state[e, :].copy(),
        action,
        reward,
        next_state[e, :].copy(),
        done
    )
    

内容的提问来源于stack exchange,提问作者Star

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.27 08:15:10