PySpark写入带表头CSV至S3后读取表头异常问题求助

这是个很常见的Spark CSV读写坑，问题核心在于读取CSV时没有告诉Spark文件第一行是表头，导致它把原本的表头当成了数据行，自动生成了_c0、_c1这类默认列名。

快速解决方法 #

读取CSV的时候，一定要和写入时一样加上header=true的配置，让Spark识别文件第一行为列名：

df_read = spark.read.option("header", "true").csv("<s3: path>")

执行这个读取命令后，Spark就会把文件第一行的test_control_status、user_id、loyalty_type识别为正式列名，后面的行作为数据，就能得到你期望的表结构了。

额外注意事项 #

• 先确认S3上的CSV文件确实包含表头：可以直接查看S3路径下的part文件，第一行应该是你设置的表头字段，确保写入过程没有异常。
• 如果写入时指定了自定义分隔符（比如option("delimiter", ";")），读取时也要同步加上相同的分隔符配置，避免字段解析错位。
• 若你使用的是较老版本的Spark（比如2.3及以下），偶尔会出现CSV表头识别的小bug，建议升级到2.4.x或3.x的稳定版本。

至于Parquet格式能正常工作，是因为Parquet是列式存储格式，会自动保留表的元数据（包括列名），不需要额外指定表头配置；而CSV是纯文本格式，必须明确告诉Spark如何解析表头信息。

内容的提问来源于stack exchange，提问作者Rishabh Ojha