Databricks中并行遍历字典列表无输出问题排查

为什么print没输出？ #

Spark的RDD操作是分布式执行的——map/foreach里的代码跑在worker节点上，而你在笔记本控制台看到的只是driver节点的输出。worker节点的stdout默认不会主动转发到driver，所以你看不到函数内的print内容，跟集群是单节点还是多节点无关。

调试阶段的验证方案 #

如果只是要确认函数是否执行、逻辑是否正确，有两种实用办法：

1. 返回处理结果到driver打印
   把函数的处理结果返回，通过collect()把结果拉回driver后再打印，既能验证逻辑，也能看到处理后的内容：

   def my_func(item):
       # 你的转换逻辑
       processed_item = {"id": item["id"], "sum": item["count1"] + item["count2"]}
       # worker端的print会出现在worker日志里，driver控制台看不到
       print(f"Worker processed: {processed_item}")
       return processed_item
   
   # 不要直接用rdd.foreach(my_func)，改用map+collect
   rdd = sc.parallelize(your_dict_list)
   results = rdd.map(my_func).collect()
   # 在driver端打印结果
   for res in results:
       print(f"Driver received: {res}")
   

2. 查看worker节点日志
   worker里的print内容会存在worker的stdout日志中：

   • 打开Databricks集群页面
   • 切换到「Logs」标签
   • 选择「Worker logs」，找到对应worker的日志文件，就能看到print的内容。

生产环境写入Cassandra的最佳实践 #

手动在RDD函数里连接Cassandra容易出现连接池管理、网络访问等问题，推荐用官方的spark-cassandra-connector来处理：

1. 先把字典列表转换成Spark DataFrame（比RDD更适合结构化数据处理）
2. 直接用DataFrame的write API写入Cassandra：

   # 把字典列表转为DataFrame
   df = spark.createDataFrame(your_dict_list)
   
   # 写入Cassandra
   df.write.format("org.apache.spark.sql.cassandra") \
       .option("keyspace", "your_keyspace_name") \
       .option("table", "your_table_name") \
       .mode("append")  # 根据需求选append/overwrite等
       .save()
   

   这种方式会自动管理worker到Cassandra的连接，性能和稳定性都比手动写连接好。

额外注意事项 #

• 如果一定要在worker里打日志用于排查问题，建议用logging模块替代print，日志级别设为INFO/DEBUG，这样日志会被集群日志系统收集，更容易检索：

  import logging
  logging.basicConfig(level=logging.INFO)
  
  def update_campaing_headcounter_sum(item):
      logging.info(f"Processing campaign: {item['campaign_id']}")
      # 你的业务逻辑：计算sum、写入Cassandra
  

内容的提问来源于stack exchange，提问作者Gabriele Sciurti