Synapse Notebook读取CSV时部分文件表头混入数据行问题排查

场景回顾 #

在Synapse Notebook（Spark池配置最小3节点）中读取9个列结构一致的CSV文件，设置header=True参数后，发现file-3.csv、file-7.csv、file-9.csv这三个文件的表头行被当作数据行混入DataFrame。已确认文件本身未重复写入表头，读取代码如下：

df = spark.read.option("header", True).option("escape", "\"").csv(f"abfss://stage@costmgmt.dfs.core.windows.net/latest_export_file/{billing_year}/{billing_month}/*.csv")

通过分组统计验证，这三个文件中存在SubscriptionName值等于表头名的行。

可能的原因 #

• 文件换行符/编码不一致
  这三个文件的换行符格式可能与其他文件不同（比如使用\r而非标准\n，或混合多种换行符），Spark的表头解析逻辑在处理非标准换行符时，会误将表头行识别为数据行。此外，文件编码差异（如带BOM的UTF-8）也可能导致表头识别失败。

• 表头行存在不可见字符
  这三个文件的表头行可能包含空格、制表符或其他不可见控制字符，导致Spark解析时无法匹配预设的表头字段，进而将该行当作数据行处理。比如SubscriptionName字段前后有隐藏空格，与其他文件的纯文本表头不匹配。

• 多节点分区读取的解析错位
  由于Spark池采用多节点并行读取，若这几个文件的大小刚好处于分区拆分的临界值，表头行可能被拆分到不同的分区块中，破坏了Spark的表头识别逻辑，最终被当作数据行加载。

• escape参数的干扰
  配置的escape="\""参数可能与这几个文件中的特殊内容产生冲突。比如文件中某行数据的开头恰好是"，导致转义逻辑干扰了表头行的识别，使解析器误判该行结构。

验证建议 #

1. 单独读取异常文件，观察解析结果：

df_test = spark.read.option("header", True).option("escape", "\"").csv("abfss://stage@costmgmt.dfs.core.windows.net/latest_export_file/{billing_year}/{billing_month}/file-3.csv")
display(df_test)

2. 查看文件原始内容，检查换行符、编码或不可见字符：

print(dbutils.fs.head("abfss://stage@costmgmt.dfs.core.windows.net/latest_export_file/{billing_year}/{billing_month}/file-3.csv", 500))

内容的提问来源于stack exchange，提问作者Gerrit