优化Jupyter Notebook中PySpark DataFrame.show的输出效果

当然可以自定义PySpark DataFrame的输出样式，不用转成Pandas也能实现类似Pandas的美观展示！我来分享几个实用的方法，都是在Jupyter Notebook里亲测有效的：

其实show()本身就有不少参数可以调整输出效果，不用额外写代码：

• 关闭文本截断：df.show(truncate=False)，这样长字符串不会被省略，适合查看完整内容；
• 垂直显示模式：df.show(vertical=True)，把每行数据拆成键值对垂直展示，完美解决宽表换行杂乱的问题；
• 控制显示行数和截断长度：df.show(n=50, truncate=30)，自定义显示的行数，以及每个字段最多显示的字符数，平衡可读性和屏幕空间。

如果原生show()还是不够满足你的审美，可以自己写一个小函数，用Jupyter的HTML渲染能力来生成美观的表格，完全不用转成Pandas DataFrame：

from IPython.display import display, HTML

def pretty_show(df, num_rows=10):
    # 获取列名和指定行数的数据
    cols = df.columns
    rows = df.take(num_rows)
    
    # 构建HTML表格结构
    table_html = "<table style='border-collapse: collapse; width: 100%;'>"
    # 添加表头
    table_html += "<tr>"
    for col in cols:
        table_html += f"<th style='border: 1px solid #ddd; padding: 8px; background: #f5f5f5;'>{col}</th>"
    table_html += "</tr>"
    # 添加数据行
    for row in rows:
        table_html += "<tr>"
        for val in row:
            table_html += f"<td style='border: 1px solid #ddd; padding: 8px;'>{val}</td>"
        table_html += "</tr>"
    table_html += "</table>"
    
    # 渲染表格
    display(HTML(table_html))

用的时候直接调用pretty_show(df, num_rows=15)就行，这个表格的样式和Pandas默认输出很像，还可以根据自己的喜好修改CSS样式。

如果你的Spark版本是3.0或以上，强烈推荐开启这个功能——直接输入DataFrame变量名就能自动展示美观的表格，完全不用调用show()：

spark.sql("SET spark.sql.repl.eagerEval.enabled=true")

开启后，你只需要在单元格里输入df并运行，Jupyter就会自动渲染出适配笔记本宽度的表格，样式清爽，还支持排序、筛选（部分环境），体验和Pandas几乎一样！

注意事项 #

• 对于超大数据集，尽量避免用take()或collect()获取太多行，防止内存溢出，优先用show()的参数调整或即时求值功能；
• 即时求值功能默认显示前20行，你可以通过SET spark.sql.repl.eagerEval.maxNumRows=50来修改默认行数。

内容的提问来源于stack exchange，提问作者clstaudt