Azure Data Factory：Excel转CSV如何处理列标题换行问题

方案1：ADF复制阶段直接修复（无需数据流） #

在Excel源数据集里通过自定义SQL重命名列，从源头消除换行标题：

• 进入ADF的Excel源数据集配置，切换到连接页签，在「查询」输入框中编写自定义SQL，手动指定无换行的列名。针对你的数据示例，SQL可以这么写：

  SELECT 
    `col1 name` AS col1_name,
    `col2
    name` AS col2_name,
    `col3 name` AS col3_name
  FROM [Sheet1$]
  

  注意：原带换行的列名需要用反引号包裹，AS后面替换成合法的单行列名。
• 配置完成后，复制活动生成的CSV会直接使用你指定的单行标题，Databricks读取时无需额外处理。

方案2：Databricks读取阶段修复（不改动ADF流程） #

如果不想调整现有ADF链路，直接在Databricks读取CSV时修复多行标题：

1. 先读取CSV的标题行，合并并清理换行内容：

   # 读取前2行标题内容
   header_rows = spark.read.text("your-csv-file-path").limit(2).collect()
   # 提取文本、移除换行和多余符号，合并后拆分得到正确列名
   cleaned_header_str = ''.join([row.value.replace('\n', '').strip() for row in header_rows])
   final_columns = [col.strip() for col in cleaned_header_str.split(',') if col.strip()]
   

2. 跳过原标题行，用处理后的列名读取数据：

   df = spark.read.csv(
       "your-csv-file-path",
       header=False,
       skipRows=2,
       inferSchema=True
   ).toDF(*final_columns)
   

   执行后就能得到列名正常的DataFrame，可直接进行后续数据处理。

方案选择建议 #

• 优先选方案1：从ETL源头解决问题，后续所有依赖该CSV的系统都能直接使用，无需重复修复。
• 方案2适合临时快速适配：不想改动现有ADF流程时，把修复逻辑放在数据消费端，成本低见效快。

内容的提问来源于stack exchange，提问作者MystCabe