使用ADF管道从ADLS Gen2复制数据到Azure SQL DB报错Prop_0列不存在

报错里提到的Prop_0不是源文件自带的列，是ADF解析分隔文本文件时，遇到无法识别合法列名的场景，自动按顺序生成的默认列名。出现这个错误的核心原因是源端文件解析配置和实际文件不匹配，ADF读取源时生成了预期之外的Prop_开头列，但目标表、列映射里都没有对应这个列的配置，最终在接收器侧抛错。

常见触发场景包括：

• 源数据集错误开启了「第一行作为表头」选项，但实际part文件没有表头行，或者文件开头存在空行、BOM头异常、损坏行，导致ADF无法从第一行解析到合法列名，自动为所有列生成Prop_0、Prop_1……格式的默认名
• 源文件分隔符配置错误：比如配置为逗号分隔，但实际Spark输出的part文件多为制表符分隔，ADF无法正确拆分列，会把整行识别为单列，缺失的列自动补Prop开头的默认列
• 源路径的文件通配符没有做过滤，ADF读取到了非数据文件：比如Spark输出目录下的_SUCCESS标记文件、.crc校验文件、任务临时标记文件，这类文件格式和数据part文件不一致，解析时会生成异常列
• 列映射配置过期：之前导入的schema残留了无效列，或者修改源配置后没有重新导入schema，导致映射关系和实际解析出的源列不匹配
• 部分part文件存在格式异常：比如个别文件列数不匹配、引号转义错误、换行符异常，单文件预览时选到了正常文件，但全量运行时读到异常文件就会触发列不匹配

按以下顺序操作即可定位修复：

1. 修正源数据集的格式解析配置
   • 打开ADF中指向ADLS Gen2的源数据集，核对格式参数：分隔符要和实际part文件完全匹配（不要默认选逗号，Spark输出默认是\t制表符），编码选UTF-8，引号、转义字符和文件实际生成规则一致
   • 核对表头配置：如果你的part文件本身没有存表头行，直接关闭「第一行作为表头」选项，手动在数据集schema中按文件列顺序定义正确列名；如果有表头，先下载一个part文件本地用纯文本编辑器打开，确认第一行是合法列名、开头无空行/乱码后再开启该选项
2. 重新校验schema与映射关系
   • 配置调整完成后点击数据集的「预览数据」，如果预览结果里出现Prop_0这类列名，说明格式配置仍然不对，继续调整参数直到预览出的8个列名完全符合预期
   • 预览正常后，进入复制活动的「映射」标签页，点击「导入schema」重新拉取源、目标两端的schema，删除所有多余的无效映射项，保证8个源列和目标表的8列一一对应，无多余、无缺失
3. 过滤无效文件，校验全量文件一致性
   • 在源配置的文件名通配符处增加过滤规则，只匹配part-*开头的文件，排除目录下所有临时文件、标记文件、隐藏文件，避免ADF读取非数据文件
   • 如果单文件测试运行正常，全量运行仍报错，可以临时开启源端容错配置里的「跳过不兼容行」选项，跑一次作业后查看跳过的行日志，定位到格式异常的part文件修复即可

快速验证技巧：先把源路径临时指定为单个确认格式正常的part文件做测试运行，如果单文件运行成功，基本可以排除配置错误问题，故障点基本是全量文件中混入了异常文件、或者通配符匹配到了非数据文件。

内容的提问来源于stack exchange，提问作者user22