PyTorch实现联邦深度Q学习时多智能体回放缓冲区已存状态异常问题咨询
核心问题定位
你遇到的「缓冲区已存经验被后续操作篡改、所有智能体缓冲区的current_state和next_state最终趋同」的现象,本质是NumPy数组的浅引用(内存视图)导致的共享内存问题,和“将缓冲区定义为全局变量”没有关联。
问题匹配你的运行现象的具体逻辑
- 你代码中使用的全局
current_state、next_state是二维NumPy数组,NumPy的切片操作(比如current_state[e, :])默认返回原数组的内存视图,并非独立的数值拷贝——视图没有专属的内存空间,只是指向原数组某一行内存的“快捷引用”。 - 你把这个视图直接存入经验回放缓冲区时,缓冲区里存的不是存入时刻的状态数值快照,而是这个快捷引用本身:只要后续代码修改了全局数组对应内存块的数值,所有之前存进去、指向这块内存的引用,读到的数值都会同步变化。
- 这套逻辑完全对应你贴的运行结果:
- time 0步骤给agent0存经验时,存的是指向全局数组对应行的引用;循环切到agent1的步骤时,代码对全局数组做覆写操作,已经存在agent0缓冲区里的旧经验数值就会被同步修改,才会出现time0的agent1步骤打印时,agent0缓冲区的action数值发生变化的诡异现象。
- 到time1步骤,你执行
current_state[e, :] = next_state[e, :]的内存覆写操作,所有之前存在两个智能体缓冲区里、指向这块共享内存的引用,读到的数值会全部变成最新的全局状态值,最终表现为所有缓冲区的current_state、next_state完全一致。
代码中存在的其他逻辑疏漏
- 主程序入口的执行顺序错误:你贴的代码逻辑是先调用
DQNtrain(),之后才初始化replay_buffer_t,正常运行时会触发“变量未定义”的报错,大概率是你整理简化代码片段时打乱了实际执行顺序,这个疏漏在正式开发时很容易踩坑。 BasicBuffer类的初始化逻辑失效:你在类的__init__方法中接收了max_size参数,但内部创建deque时直接写死了maxlen=10000,根本没有使用传入的容量参数,缓冲区实际容量和你初始化时传入的agent_buffer_size并不一致。
修复方案
核心修复思路是在把状态存入缓冲区前,生成独立的数值副本,切断和外部全局数组的引用关联,两种改法选其一即可:
- 直接修改
BasicBuffer的add方法,对传入的NumPy数组做拷贝后再存入:def add(self, current_state, action, reward, next_state, done): # 拷贝生成独立数组,避免共享外部内存 experience = ( current_state.copy(), action, np.array([reward]), next_state.copy(), done ) self.buffer.append(experience) - 或者在循环调用
add方法时,对传入的状态切片提前做拷贝:replay_buffer_t[e].add( current_state[e, :].copy(), action, reward, next_state[e, :].copy(), done )
内容的提问来源于stack exchange,提问作者Star
相关产品推荐
相关产品推荐

