Salt-Minion 3006.5 (Sulfur)报TypeError: 'NoneType'不可迭代问题求助

问题详情 #

运行Salt-Minion 3006.5（Sulfur）版本时，minion出现无响应问题，日志中反复抛出以下错误：

TypeError: 'NoneType' object is not iterable

完整回溯信息：

self.set_exc_info(
File "/opt/saltstack/salt/lib/python3.10/site-packages/salt/ext/tornado/concurrent.py", line 319, in set_exc_info
self._set_done()
File "/opt/saltstack/salt/lib/python3.10/site-packages/salt/ext/tornado/concurrent.py", line 333, in _set_done
for cb in self._callbacks:
TypeError: 'NoneType' object is not iterable

已执行排查操作 #

• 检查所有相关配置，确认无None值
• 更新所有依赖至最新版本
• 多次重启salt-minion服务，问题仍存在

系统环境 #

• Salt-Minion版本：3006.5 (Sulfur)
• Python版本：3.10

解决建议与调试指导 #

1. 修复内置Tornado回调初始化问题
   该错误因self._callbacks被意外设为None导致，可手动修改Salt内置Tornado文件：

   • 打开/opt/saltstack/salt/lib/python3.10/site-packages/salt/ext/tornado/concurrent.py
   • 定位_set_done方法（对应行333附近），添加非空判断：

     def _set_done(self):
         if self._callbacks is not None:
             for cb in self._callbacks:
                 self._run_callback(cb)
             self._callbacks = None
         # 保留原有其他逻辑
     

   修改后重启salt-minion，观察错误是否复现。

2. 调整Salt版本
   3006.5版本内置Tornado存在并发回调bug，可尝试：

   • 升级到3006系列后续补丁版本（如3006.6），这类底层问题通常会在小版本更新中修复
   • 降级至3006.4版本，验证是否为该版本引入的问题

3. 启用Debug级日志
   调整日志级别获取更多上下文：

   • 修改minion配置文件（通常为/etc/salt/minion），设置log_level: debug
   • 重启服务后，查看错误出现前后的详细调用栈，定位触发异常的具体操作或模块

4. 排查自定义模块/状态文件
   若服务器存在自定义Salt模块或状态文件，可能触发并发回调异常：

   • 临时禁用所有自定义内容，逐步恢复排查，确认是否为第三方代码导致问题

内容的提问来源于stack exchange，提问作者Tony