本地Spark在VSCode Jupyter Notebook中DataFrame输出对齐问题求助

• 检查终端/Notebook字体是否为等宽字体
  非等宽字体（比如宋体）会导致字符宽度不一致，直接破坏对齐效果。在VSCode中：

  • 终端字体：打开设置，搜索Terminal > Integrated: Font Family，设置为Consolas, 'JetBrains Mono', monospace这类等宽字体。
  • Notebook字体：搜索Notebook Editor: Font Family，同样设置为等宽字体。

• 调整Pandas的东亚字符宽度计算配置
  如果是转Pandas后对齐问题，执行以下代码强制Pandas正确识别中文等东亚字符的宽度：

  import pandas as pd
  pd.set_option('display.unicode.ambiguous_as_wide', True)
  pd.set_option('display.unicode.east_asian_width', True)
  

• 修正Spark的字符宽度计算逻辑
  Spark默认对中英文字符按相同宽度计算，导致中文列错位。可以通过自定义输出格式统一列宽，比如用format_string函数格式化字段：

  from pyspark.sql.functions import format_string, col
  df.select(format_string("%-10s", col("col1")), format_string("%-15s", col("col2"))).show()
  

  其中%-10s表示左对齐且占10个字符宽度，根据实际列内容调整数值。

• 检查终端编码设置
  确保VSCode终端使用UTF-8编码：打开设置，搜索Terminal > Integrated: Encoding，设置为utf-8，避免字符编码异常导致的显示错位。

• 清理数据中的异常字符
  检查DataFrame字段是否包含换行、制表符或不可见控制字符，这些会干扰输出对齐。可以用Spark的trim()或regexp_replace()函数清理：

  from pyspark.sql.functions import trim, regexp_replace, col
  df_clean = df.withColumn("col1", trim(regexp_replace(col("col1"), r"\s+", " ")))
  

内容的提问来源于stack exchange，提问作者Retko