Mac M1 Pro上使用Keras-Rl2与TensorFlow训练CartPole时遭遇'additionalupdatesoptimizer'未知优化器错误

我懂你在M1 Pro上用Keras-RL2训练CartPole时碰到这个闹心的错误了！这个问题的根源其实是Keras-RL2内部会把你传入的优化器包装成一个叫AdditionalUpdatesOptimizer的自定义类，但TensorFlow的序列化机制没见过这个类，所以就报错了。下面给你几个实用的解决办法，按优先级排序：

方法一：用custom_object_scope注册优化器 #

这是最稳妥的临时解决方式，不用改源码，只需要在编译和训练代码外面包裹一个作用域，告诉TensorFlow这个自定义优化器的存在：

1. 先导入这个优化器类：

from rl.agents.dqn import AdditionalUpdatesOptimizer

2. 修改你的编译和训练代码，用作用域包裹：

# ... 保留你原有的模型、agent初始化代码 ...

with tf.keras.utils.custom_object_scope({'AdditionalUpdatesOptimizer': AdditionalUpdatesOptimizer}):
    agent.compile(tf.keras.optimizers.legacy.Adam(learning_rate=0.001), metrics=["mae"])
    agent.fit(env, nb_steps=100000, visualize=False, verbose=1)

另外，建议你去掉代码里的Adam._name = "Adam"这句，直接使用learning_rate参数（TF2.10+里lr已经是learning_rate的别名，但显式写更规范），避免修改类属性带来的潜在问题。

方法二：给Keras-RL2的优化器类添加序列化注册 #

如果你不想每次都写作用域，可以直接修改Keras-RL2的源码，让TensorFlow永久识别这个优化器：

1. 找到你虚拟环境里的rl/agents/dqn.py文件，路径大概是/Users/tima/AI/BlackJack/venv/lib/python3.11/site-packages/rl/agents/dqn.py
2. 找到AdditionalUpdatesOptimizer类的定义，给它加上@tf.keras.utils.register_keras_serializable()装饰器：

@tf.keras.utils.register_keras_serializable()
class AdditionalUpdatesOptimizer(tf.keras.optimizers.Optimizer):
    def __init__(self, optimizer, additional_updates=None, **kwargs):
        super(AdditionalUpdatesOptimizer, self).__init__(**kwargs)
        self.optimizer = optimizer
        self.additional_updates = additional_updates or []

3. 保存文件后，重新运行你的训练代码即可。

方法三：调整依赖版本（备选） #

你提到试过不同版本的TF和Keras，不过可以试试更兼容的组合：比如用TensorFlow-macos 2.11.0 + keras-rl2 1.0.5，这个组合很多M1用户反馈能避开这个序列化问题。不过这个方法不如前两个直接，适合你想彻底换版本测试的情况。

备注：内容来源于stack exchange，提问作者Темирлан Асанов