Sqoop作业中Temporary rootdir与bindir的区别是什么

基础定义 #

• Temporary rootdir（临时根目录）
  该路径用于存储Sqoop作业运行阶段产生的所有临时中间数据，默认值为HDFS路径/tmp/sqoop-${user.name}，可通过命令参数--tmpdir自定义路径。作业运行过程中会在此目录生成分片临时数据、序列化缓存文件、任务状态临时文件等中间产物，作业正常执行完成后会自动清理本次作业生成的临时文件，仅作业异常终止时会残留无效文件。
• bindir（编译输出目录）
  该路径用于存储Sqoop客户端编译生成的Java字节码文件，包括导入导出表对应的ORM映射类、序列化实现类、作业配置类等.class文件，默认路径为执行Sqoop命令的本地节点当前工作目录，可通过命令参数--bindir自定义路径。该目录的文件在作业提交到集群前完成编译生成，不会被自动清理，多次执行同配置Sqoop命令时会覆盖目录内的同名文件。

核心差异对比 #

• 存储介质不同：Temporary rootdir默认存储在HDFS分布式文件系统，供集群所有计算节点访问；bindir默认存储在Sqoop客户端所在节点的本地文件系统
• 作用不同：Temporary rootdir承载作业运行时的中间数据流转；bindir存储Sqoop自动生成的Java类编译产物，用于作业提交和后续复用
• 生命周期不同：Temporary rootdir内的作业对应临时文件会在作业结束后自动删除；bindir内的文件会永久留存直到手动删除
• 调整场景不同：当集群HDFS的/tmp目录存储空间不足、或者需要对临时数据做权限隔离时，可自定义Temporary rootdir；当需要复用Sqoop生成的ORM类做二次开发、或者需要留存编译文件做问题排查时，可自定义bindir路径

内容的提问来源于stack exchange，提问作者Priya Chauhan