Jupyter Notebook中多依赖函数调试与输出打印问题

一、解决print语句不生效的问题 #

• 惰性执行导致无输出：PySpark的DataFrame/RDD操作是惰性的，只有触发collect()、show()、count()这类行动算子才会执行计算。如果print写在filter()、map()这类转换操作里，不会触发执行，要改成先触发行动算子再打印：

  # 错误写法：转换操作内的print不会执行
  df_rdd.filter(lambda x: x["age"]>18).map(lambda x: print(x))
  # 正确写法：用collect()触发执行后遍历打印
  filtered_data = df_rdd.filter(lambda x: x["age"]>18).collect()
  for item in filtered_data:
      print(item)
  

• 类方法内print无输出：检查方法是否被正确调用，以及代码是否走到了print语句（比如有没有分支判断跳过）。可以在方法开头加print("进入XX方法")验证执行路径。

二、查看ClassAttr类属性与函数内数据变化 #

• 查看类实例属性：直接打印实例属性，或用vars()查看所有属性：

  attr_instance = ClassAttr()
  # 打印单个属性
  print(attr_instance.target_attr)
  # 打印所有属性
  print(vars(attr_instance))
  

• 跟踪函数内数据操作前后变化：在操作前后加print，注意PySpark对象要触发行动算子才能看到实际数据：

  def process_data(self, df):
      # 操作前打印数据
      print("操作前数据（前5行）：")
      df.show(5)
      # 执行数据操作
      processed_df = df.withColumn("new_col", df["old_col"] * 2)
      # 操作后打印数据
      print("操作后数据（前5行）：")
      processed_df.show(5)
      return processed_df
  

三、获取依赖函数的输出 #

• 逐层打印依赖链结果：如果函数A依赖函数B，函数B依赖函数C，就在调用链的每一步打印输出：

  # 先调用底层依赖函数C，打印结果
  c_output = attr_instance.func_c(df_rdd)
  print("函数C输出（前5行）：")
  c_output.show(5)
  # 调用依赖C的函数B，打印结果
  b_output = attr_instance.func_b(c_output)
  print("函数B输出（前5行）：")
  b_output.show(5)
  # 最后调用顶层函数A
  a_output = attr_instance.func_a(b_output)
  

• 利用Jupyter变量查看功能：执行完函数后，直接在单元格输入变量名并运行，Jupyter会自动展示变量结构（PySpark DataFrame会显示Schema和部分数据）。

额外调试技巧 #

• 用logging替代print：比print更灵活，可设置日志级别，还能输出到文件，适合复杂流程：

  import logging
  logging.basicConfig(level=logging.INFO)
  logger = logging.getLogger(__name__)
  
  def some_method(self, df):
      logger.info("当前数据Schema：%s", df.schema)
      processed_df = df.filter(df["status"] == "active")
      logger.info("处理后数据行数：%d", processed_df.count())
      return processed_df
  

• 查看PySpark UI：运行PySpark后访问http://localhost:4040（端口可能变化），可查看Job、Stage的执行情况，确认哪些操作实际被执行。

内容的提问来源于stack exchange，提问作者user23114815