Databricks读取Azure Synapse Link导入的Dataverse数据集无列头

你的读取操作存在配置和路径选择两方面的错误，和挂载权限、数据同步本身无关：

• Spark原生spark.read.csv()方法默认不将首行识别为列头，所有行会被作为普通数据解析，列名默认分配为_c0、_c1这类自增名称
• Azure Synapse Link同步Dataverse表到ADLS时，生成的分片业务CSV文件本身不携带表头行，列定义单独存放在表目录下的model.json元数据文件或专门的[表名].csv.header.csv表头文件中，直接读取分片文件即使开了header参数，也会把第一行业务数据错当成列名
• 直接读取/mnt/lake根目录会把目录下所有表的分片文件、元数据文件、系统状态文件全部读入，进一步加剧字段错位问题

快速验证方案 #

如果已经确认你同步的CSV文件首行携带列头，直接在读取时添加header=True参数，同时精确到单表路径读取即可：

# 替换为实际的单表目录路径，不要直接读根目录
df = spark.read.csv(
    path="/mnt/lake/具体表名/*.csv",
    header=True,
    multiLine=True,
    quote='"',
    escape='"',
    inferSchema=False
)

不建议开启inferSchema=True，Dataverse的主键、查找字段多为字符串格式的GUID，自动推断容易把数字类型的选项集字段、时间字段解析出错。

适配Synapse Link官方导出结构的生产方案 #

Synapse Link默认导出的分片CSV不带表头，推荐按以下逻辑读取避免字段错位：

• 先读取目标表目录下的独立表头文件，获取正式列名列表
• 过滤掉目录下的表头文件、元数据文件，只读取业务分片CSV
• 给读取到的纯数据绑定提前获取的列名

参考代码：

# 替换为实际的目标表在ADLS中的路径
target_table_path = "/mnt/lake/crm_contact/"
# 读取独立表头文件获取列名
header_row = spark.read.csv(
    path=f"{target_table_path}*.header.csv",
    header=False
).first()
table_columns = [col for col in header_row]
# 读取业务数据，过滤掉表头文件和非csv文件
biz_df = spark.read.csv(
    path=f"{target_table_path}*.csv",
    header=False,
    multiLine=True,
    quote='"',
    escape='"'
).filter("input_file_name() NOT LIKE '%header.csv'").toDF(*table_columns)

• 同步完成的ADLS目录下，每个表单独占一个子目录，不要跨目录、直接读根目录，否则会混入其他表的数据和系统文件
• 如果你的Synapse Link配置的是CDM格式同步，直接读取CSV会存在字段顺序错位问题，优先读取同目录下的model.json解析字段映射关系，比单独读header文件准确率更高
• 包含换行符的长文本字段、多行备注字段必须开启multiLine=True参数，否则会出现单行数据被拆成多行的问题

内容的提问来源于stack exchange，提问作者Patterson