ADF Copy Data activity处理大TXT转Parquet时报错，求单次转换方案

这是不是ADF的BUG？ #

不是。这个报错本质是源TXT文件中存在格式不一致的行（大概率在505000行附近），比如该行的Tab分隔符数量不等于155（对应156列），或者字段值内包含未正确转义的Tab字符（未用引号包裹）。拆分后文件能正常转换，是因为拆分后的每个小文件中没有这类异常行，或者ADF对小文件的采样检测刚好覆盖了正常行，从而正确识别列结构。

无需拆分的可行方案 #

1. 定位并修复源文件格式异常

首先找出所有列数不符合要求的行，工具示例：

# 用awk遍历文件，输出列数不等于156的行号和列数
awk -F'\t' '{if(NF!=156) print "行号:" NR ", 列数:" NF}' your_file.txt

找到异常行后，针对性修复：

• 删除多余的Tab分隔符
• 给包含Tab/特殊字符的字段添加引号（如双引号）包裹，确保ADF将其视为单个字段

2. 调整ADF复制活动配置

• 手动指定列架构：不要依赖ADF自动检测列，在源数据集的「架构」页签手动定义156列的名称和数据类型，强制ADF按固定列数处理。
• 启用容错策略：在复制活动的「设置」页签，开启「跳过错误行」并设置允许跳过的行数；或设置「容错级别」为「跳过不一致的行」，让ADF自动跳过列数不匹配的行，继续处理其余数据。
• 优化列检测采样：在源数据集的「连接」页签，增大「采样行数」（比如设为10000），确保ADF采样到的行都是格式正常的，避免因采样行正常但后续行异常导致的列数不匹配。
• 启用引号转义：若字段值含Tab字符，在源数据集的「格式」设置中，将「引号字符」设为双引号（或单引号），ADF会将引号内的内容识别为单个字段，不会将内部Tab当作分隔符。

3. 使用ADF数据流替代复制活动

数据流提供更灵活的格式处理能力：

• 添加「筛选」转换，过滤掉列数不等于156的行（可通过arraySize(split($$,'\t')) == 156作为过滤条件）
• 用「选择」转换固定输出列结构，确保与目标Parquet的列数匹配
• 配置「错误行处理」，将异常行路由到单独的存储路径，方便后续排查

内容的提问来源于stack exchange，提问作者Ibo