将CSV数据读取至PySpark DataFrame：优化显示效果

以下是针对CSV读取后显示混乱的实用解决步骤：

• 确认并指定正确的分隔符
  PySpark默认用逗号作为分隔符，但很多CSV文件会用制表符（\t）、分号或其他符号。读取时必须明确指定sep参数，同时开启inferSchema=True让Spark自动推断字段类型（否则所有列都会显示为字符串，格式更乱）：

df = spark.read.csv("你的文件路径.csv", header=True, sep="\t", inferSchema=True)

• 处理文件编码问题
  如果CSV是GBK、GB2312等非UTF-8编码，读取时指定encoding参数适配：

df = spark.read.csv("你的文件路径.csv", header=True, encoding="gbk", sep=",")

• 适配多行数据场景
  如果CSV里的文本字段包含换行符（比如评论、描述内容），需要开启multiLine=True，同时指定quote参数让Spark识别被引号包裹的多行内容，避免数据错位：

df = spark.read.csv("你的文件路径.csv", header=True, multiLine=True, quote='"')

• 优化DataFrame的显示效果
  即便数据读取正确，默认的显示方式也可能不够友好，试试这些方法：
  • 自定义show()参数：用df.show(n=10, truncate=False)显示完整内容（truncate=False关闭内容截断），如果列太多，先筛选需要的列再显示：df.select("列名1", "列名2").show(truncate=False)。
  • 转成Pandas DataFrame预览：如果数据量不大，执行df.limit(10).toPandas()会生成更易读的表格格式，适合快速查看。
  • 设置全局显示配置：修改Spark的默认显示规则，之后无需每次手动设置参数：

# 开启自动显示DataFrame，无需调用show()
spark.conf.set("spark.sql.repl.eagerEval.enabled", True)
# 设置默认显示行数
spark.conf.set("spark.sql.repl.eagerEval.maxNumRows", 10)
# 设置每列最大显示长度
spark.conf.set("spark.sql.repl.eagerEval.truncate", 100)

内容的提问来源于stack exchange，提问作者Ashutosh Sharma