如何使用PySpark将读取的CSV文件展示为规范的DataFrame？

我尝试从本地读取CSV文件，用于展示数据并执行SQL操作，目前已成功读取文件，但展示DataFrame时格式不可读（截图如下）。我试过以下两种读取方式，求解决展示格式的问题：

from pyspark.sql import SparkSession
sc = SparkSession.builder.appName('PySpark Session').getOrCreate()
df = sc.read.option("header",True).csv("C:/Users/l/Desktop/data.csv") 
df.show()

# 另一种方法：
df = sc.read.format('com.databricks.spark.csv').options(header='true', inferschema='true').load('C:/Users/l/Desktop/data.csv')

解决方法 #

• 使用df.show(n=指定行数, truncate=False)：默认show()会截断过长的列内容，设置truncate=False可完整显示所有列数据，同时通过n控制展示行数，例如df.show(20, truncate=False)。
• 转成Pandas DataFrame：如果数据量不大，执行df.toPandas()，它会自动适配终端宽度生成更易读的表格，大数据量不建议使用此方法。
• 配置Spark自动格式化显示：设置SparkSession参数，直接输入df即可展示格式化表格：

  sc.conf.set("spark.sql.repl.eagerEval.enabled", True)
  sc.conf.set("spark.sql.repl.eagerEval.maxNumRows", 20)
  

• 查看Schema结构：若只需确认列信息和数据类型，执行df.printSchema()可清晰展示结构。

内容的提问来源于stack exchange，提问作者jazzoria