You need to enable JavaScript to run this app. Azure Data Factory读取PuBchem TSV文件列截断仅返回3列如何解决
优惠活动
大模型
产品
解决方案
定价
更多

Azure Data Factory读取PuBchem TSV文件列截断仅返回3列如何解决

问题原因
  • ADF默认的分隔文本数据集会通过扫描源文件前N行自动推断列结构,若源文件前部分行的后序列均为空值,ADF会错误判定文件仅存在3列,同步时直接截断后续列。
  • 分隔符配置错误:未明确指定列分隔符为制表符\t,或引号字符配置与源TSV不匹配,导致ADF错误识别字段边界,将多列内容合并为少数列。
  • 行分隔符识别异常:源文件的换行符不符合ADF默认检测规则,导致行内容读取不全,连带列解析错误。
解决方法
  • 手动配置数据集列结构:先下载少量源TSV文件确认完整列数、列名与字段类型,在ADF对应数据集的“架构”tab下手动添加所有列,关闭自动架构推断功能,避免自动识别偏差。
  • 修正格式配置:在源数据集的格式设置中,明确指定列分隔符为制表符\t,若源TSV没有使用引号包裹字段,将“引号字符”设置为无,行分隔符可先选自动检测,若仍有问题根据源文件实际情况指定为\n或\r\n。
  • 调整架构推断扫描范围:若需使用自动推断功能,在源活动的设置项中,将架构推断的扫描行数调整为“扫描整个文件”,或设置足够大的扫描行数,确保能扫描到包含完整列的行,修正列数推断结果。
  • 配置完成后先执行数据预览,确认所有列正常展示后再运行同步管道。

内容的提问来源于stack exchange,提问作者Bharat Vadlamudi

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.12 11:15:03