Apache Beam自定义DoFn无法识别全局导入的问题排查

问题原因 #

Apache Beam 的 save_main_session=True 虽会序列化主会话，但在 Github CI 这类环境中，可能因环境隔离、序列化机制细节，导致全局导入的模块无法被正确传递到 Worker 进程。尤其是当全局导入语句位于主模块，而 DoFn 定义在后续逻辑中，或者 CI 的 Python 环境有特殊序列化限制时，Worker 进程就找不到全局导入的 time 模块。

可行解决方案 #

• 在DoFn所在文件顶部显式导入：把 import time 移到定义自定义DoFn的Python文件顶部，而非仅在主模块导入。这样Worker进程加载DoFn所在模块时会自行导入time，不受主会话序列化的影响。
• 验证SetupOptions配置完整性：确认CI环境中save_main_session=True确实被正确设置，同时可以尝试指定requirements文件（即使time是标准库，部分CI环境可能需要显式声明依赖结构）：

  setup_options = pipeline_options.view_as(SetupOptions)
  setup_options.save_main_session = True
  setup_options.requirements_file = "requirements.txt"
  

• 在DoFn的setup方法中导入：如果不想调整模块顶部导入，可以在DoFn的初始化方法里导入time并绑定到实例：

  class ProfileQueryDoFn(beam.DoFn):
      def setup(self):
          import time
          self.time = time
      
      def process_batch(self, batch, context):
          # 用self.time替代直接调用time
          self.time.sleep(1)
          # 其他业务逻辑
  

本地正常但CI报错的核心差异 #

本地运行时，Worker进程和主进程共享同一个Python环境，全局导入的模块能直接访问；但CI环境中，Dataflow通常会启动独立的Worker进程（或容器），主会话的序列化没有完全包含全局模块的引用，导致Worker进程无法找到time模块。

内容的提问来源于stack exchange，提问作者Anthony Naddeo