Apache IMPORT工具--fields-terminated-by与--input-fields-terminated-by的区别说明
参数核心差异
两个参数虽然名称高度相似,但作用于Sqoop Import流程的完全不同阶段,不存在功能重叠:
--fields-terminated-by
属于输出侧配置项,作用于导入任务的最终落地环节:用来指定Sqoop把抽取完成的数据写入目标存储(包括HDFS普通文件、Hive表存储路径、HBase附属存储文件)时,不同字段之间的分隔符。配置完成后,最终生成的落地文件会严格按照指定的分隔符拆分字段,方便后续计算引擎读取。--input-fields-terminated-by
属于输入侧配置项,作用于导入任务的源数据读取环节:用来告诉Sqoop,当它从HDFS读取已存在的文本格式源文件时,应该用什么规则拆分文件里每行的字段。这个配置不会对最终落地的输出文件格式产生任何影响。
--input-fields-terminated-by 使用规则与适用场景 核心使用规则
- 生效有严格的前置条件:只有当导入任务的数据源不是JDBC直连的关系型数据库,而是HDFS上已存在的文本类文件时,这个参数才会被解析执行。如果任务是直连MySQL、Oracle这类数据库抽数,配置该参数完全没有效果——因为JDBC返回的是结构化的结果集,不需要通过文本分隔符拆分字段。
- 配置值必须和源输入文件的实际分隔符完全匹配:不管是单字符的逗号、制表符,还是多字符的自定义分隔符(比如
||),都要准确指定。如果源文件中的分隔符带转义格式,配置时也要对应做转义处理,否则会直接出现字段解析错位、数据串行的问题。
常见适用场景
平时很少检索到这个参数的使用示例,本质是因为它的适用场景本来就比较窄,主要覆盖两类操作:
- 增量数据的合并导入:比如之前已经把全量业务数据抽到了HDFS的文本目录,后续的增量数据直接同步到了目录下的临时子分区,不想重复连接数据库拉取全量数据时,可以用Sqoop Import的merge能力,把新旧两份HDFS文件合并成一份保留最新状态的全量数据。这种场景下就需要用
--input-fields-terminated-by指定待合并的两份源HDFS文件的实际分隔符,同时用--fields-terminated-by指定合并完成后输出文件的分隔符,两个参数可以同时生效互不干扰。 - 异构存储的二次迁移:如果已经有一批落地在HDFS的文本格式业务数据,不需要回溯源头数据库拉数,想直接通过Sqoop把这批文件导入到指定的Hive分区表时,就需要配置该参数告诉Sqoop怎么正确拆分源文件的字段,避免字段读错。
常见误区提醒:不要把两个参数的作用搞混,二者一个管“输入文件怎么拆”,一个管“输出文件怎么写”,没有功能重叠的部分,即便同时配置也不会互相覆盖。
内容的提问来源于stack exchange,提问作者user3625945
相关产品推荐
相关产品推荐

