Spark写入CSV读取DataFrame：MySQL大数据写入文件后的规范读取方法

1. 直接读取输出文件夹（官方推荐） #

Spark原生支持读取整个输出文件夹，会自动加载文件夹内所有符合格式的分区文件并合并为一个DataFrame，这是最规范的方式，无需手动处理单个文件：

// Scala示例：读取Parquet格式文件夹
val df = spark.read.parquet("/path/to/your/output-folder")

// Python示例：读取带表头的CSV格式文件夹
df = spark.read.csv("/path/to/your/output-folder", header=True, inferSchema=True)

不管写入时生成多少个part-xxxxx文件，Spark都会自动识别合并，同时保留数据的分区信息（如果写入时指定了分区），避免手动操作的繁琐和出错风险。

2. 读取指定单个文件 #

如果确实需要读取自定义名称的单个文件，直接在读取路径中指定完整文件名即可：

// Scala示例：读取指定Parquet文件
val df = spark.read.parquet("/path/to/your/output-folder/custom-file.parquet")

// Python示例：读取指定CSV文件
df = spark.read.csv("/path/to/your/output-folder/custom-file.csv", header=True)

生成指定名称单个文件的补充方法

Spark写入时无法直接指定最终文件名，但可以通过两步实现：

1. 先将数据写入临时文件夹，用coalesce(1)或repartition(1)强制生成单个分区文件（注意：超大规模数据下repartition(1)会触发全量Shuffle，可能影响性能，需谨慎）：

// Scala示例：写入临时文件夹生成单个文件
df.coalesce(1).write.parquet("/path/to/temp-folder")

2. 通过文件系统工具（如HDFS命令、Spark的FileSystem API）将临时文件夹内的part-xxxxx.parquet文件重命名为目标名称，再移动到最终路径。

关键注意事项 #

• 优先选择读取整个文件夹的方式，这是Spark设计的标准工作流，能更好兼容分布式存储和后续分区操作。
• 生产环境中避免对超大规模数据强制生成单个文件，否则会导致单节点负载过高，影响性能和稳定性。

内容的提问来源于stack exchange，提问作者user453575457