ADF Copy Activity实现CSV转Parquet时CSV表头含空格任务失败问题问询

问题解答 #

你遇到的报错是Parquet格式本身的规范限制导致的：Parquet原生不允许列名包含空格、[,;{}()\t=]等特殊字符，和复制活动本身的读取能力无关，你在CSV数据集预览正常是因为CSV格式本身没有这类列名字符限制。

原生复制活动并非无法处理表头带空格的场景，你可以通过以下无代码、兼容动态默认映射的方案解决，不需要引入数据流：

• 方案1：使用CSV数据集自带的列名清理功能（推荐）
  最新版本的Azure Data Factory中，CSV数据集的格式设置选项卡下提供了列名清理预设规则，你可以直接选择「将空格替换为下划线」「移除非字母数字字符」的规则，该配置会全局作用于该数据集读取的所有CSV表头，自动处理所有Parquet禁用的特殊字符，完全适配你一套数据集用在任意CSV转Parquet任务的需求，无需手动配置映射。
• 方案2：联动获取元数据活动实现动态列名处理（适配旧版ADF）
  如果你使用的ADF版本没有上述列名清理功能，可以通过两个活动组合实现全动态处理：
  1. 新增获取元数据活动，指向源CSV数据集，配置获取结构（字段列表）元数据
  2. 在复制活动的映射配置中，使用动态表达式自动遍历列名并替换空格，参考表达式：
     @json(replace(string(activity('获取元数据').output.structure), ' ', '_'))
     该方案同样不需要提前预知具体列名，适配所有通用CSV转Parquet的场景。
• 方案3：如果是固定结构的CSV文件，也可以在复制活动的映射页面手动修改目标列名，将空格替换为下划线即可，该方案仅适用于显式映射场景。

注：如果需要保留列名中的空格语义，也可以选择将空格替换为下划线、驼峰命名等符合Parquet规范的格式，不会影响数据本身的内容。

内容的提问来源于stack exchange，提问作者Geekn