Azure ML Studio复制笔记本多进程无输出：原因及解决方法？

针对你遇到的复制笔记本后multiprocessing代码执行完成但无输出的问题，结合Azure ML Studio的环境特性，可能的原因及解决办法如下：

• 输出缓冲未强制刷新
  Azure ML Studio的笔记本输出系统对打印缓冲的处理和本地环境不同，主进程里的print语句可能因为缓冲没及时刷新，导致内容没显示出来。修改print语句，强制刷新输出：

  print(f"Execution time: {execution_time} seconds", flush=True)
  

• if __name__ == "__main__"块未被执行
  复制后的笔记本在Azure ML的计算环境中，可能因为启动方式或环境变量变化，导致__name__不等于"__main__"，直接跳过了块内所有代码（包括打印逻辑）。可以在块开头加调试打印，确认是否进入：

  if __name__ == "__main__":
      print("已进入主执行块", flush=True)
      # 后续原有代码...
  

• 子进程异常导致主流程中断
  如果process_data函数在子进程中抛出异常，pool.map收集结果时可能触发异常，但Azure环境的进程管理机制可能静默处理了异常，导致主进程卡在pool.join()或pd.concat()步骤，看似执行完成但没走到打印环节。添加异常捕获排查：

  if __name__ == "__main__":
      start_time = time.time()
      num_workers = 4
      pool = mp.Pool(num_workers)
      try:
          results = pool.map(process_data, range(0, 40000, 1))
          pool.close()
          pool.join()
          new_df_to_pred = pd.concat(results, ignore_index=True)
          end_time = time.time()
          print(f"Execution time: {end_time - start_time} seconds", flush=True)
      except Exception as e:
          print(f"执行出错: {str(e)}", flush=True)
          pool.close()
          pool.join()
  

• 全局变量作用域问题（若后续依赖该变量输出）
  你在if __name__块内重新赋值的new_df_to_pred是局部变量，和全局定义的那个无关。如果后续代码依赖全局变量的输出，会得到空DataFrame。可以声明使用全局变量：

  if __name__ == "__main__":
      # ... 原有代码 ...
      global new_df_to_pred
      new_df_to_pred = pd.concat(results, ignore_index=True)
      # ... 后续代码 ...
  

附你提供的原始代码片段：

import multiprocessing as mp
import time
new_df_to_pred = pd.DataFrame()

def process_data(i):
   # 函数逻辑

if __name__ == "__main__":
   start_time = time.time()

   # Create a pool of workers
   num_workers = 4
   pool = mp.Pool(num_workers)

   # Submit jobs to the pool
   results = pool.map(process_data, range(0, 40000, 1))

   # Wait for all jobs to finish
   pool.close()
   pool.join()

   # Get the results from the jobs
   new_df_to_pred = pd.concat(results, ignore_index=True)

   end_time = time.time()

   execution_time = end_time - start_time

   print(f"Execution time: {execution_time} seconds")

内容的提问来源于stack exchange，提问作者Aakash