PySpark读取CSV后表头出现特殊字符且不对齐，无需pandas如何展示为表格？

1. 表头特殊字符通常是CSV文件采用UTF-8带BOM编码导致的，PySpark默认读取配置不会自动处理BOM头，会将BOM的不可见字符识别为表头的一部分。
2. 数据不对齐是因为PySpark原生的show()方法输出为纯文本格式，在Jupyter Notebook中不会自动渲染为结构化表格，宽度适配差就会出现错位。

1. 修复表头特殊字符 #

修改CSV读取代码，新增encoding参数指定为UTF-8BOM即可自动过滤BOM头：

py_df = spark.read.option('header', 'true') \
                  .option('encoding', 'UTF-8BOM') \
                  .csv("E:\Data files\Amazon e-commerce data.csv")

如果读取后仍有列错位问题，可以明确指定CSV分隔符，比如逗号分隔就新增配置.option('sep', ',')。

2. 无需pandas展示规整表格 #

方案一：PySpark 3.2+ 版本直接调用内置方法 #

PySpark 3.2及以上版本原生适配Jupyter渲染，直接执行以下代码即可输出交互式规整表格：

display(py_df)

方案二：自定义HTML渲染函数（兼容所有版本） #

如果是低版本PySpark，可以自己实现简单的HTML渲染工具，全程不需要依赖pandas：

from IPython.display import display, HTML

def spark_df_to_html(df, max_rows=20):
    # 拼接带样式的表格表头
    html_str = '<table border="1" cellpadding="4" cellspacing="0"><thead><tr><th>' + '</th><th>'.join(df.columns) + '</th></tr></thead><tbody>'
    # 拼接数据行
    for row in df.take(max_rows):
        html_str += '<tr><td>' + '</td><td>'.join(str(v) for v in row) + '</td></tr>'
    html_str += '</tbody></table>'
    # 渲染表格
    display(HTML(html_str))

调用时直接传入DataFrame和要展示的行数即可：

# 展示前10行数据
spark_df_to_html(py_df, 10)

内容的提问来源于stack exchange，提问作者Jamal Butt