Azure Data Factory读取PuBchem TSV文件列截断仅返回3列如何解决
问题原因
- ADF默认的分隔文本数据集会通过扫描源文件前N行自动推断列结构,若源文件前部分行的后序列均为空值,ADF会错误判定文件仅存在3列,同步时直接截断后续列。
- 分隔符配置错误:未明确指定列分隔符为制表符
\t,或引号字符配置与源TSV不匹配,导致ADF错误识别字段边界,将多列内容合并为少数列。 - 行分隔符识别异常:源文件的换行符不符合ADF默认检测规则,导致行内容读取不全,连带列解析错误。
解决方法
- 手动配置数据集列结构:先下载少量源TSV文件确认完整列数、列名与字段类型,在ADF对应数据集的“架构”tab下手动添加所有列,关闭自动架构推断功能,避免自动识别偏差。
- 修正格式配置:在源数据集的格式设置中,明确指定列分隔符为制表符
\t,若源TSV没有使用引号包裹字段,将“引号字符”设置为无,行分隔符可先选自动检测,若仍有问题根据源文件实际情况指定为\n或\r\n。 - 调整架构推断扫描范围:若需使用自动推断功能,在源活动的设置项中,将架构推断的扫描行数调整为“扫描整个文件”,或设置足够大的扫描行数,确保能扫描到包含完整列的行,修正列数推断结果。
- 配置完成后先执行数据预览,确认所有列正常展示后再运行同步管道。
内容的提问来源于stack exchange,提问作者Bharat Vadlamudi
相关产品推荐
相关产品推荐

