替代Apache Sqoop的方案：从RDBMS到HDFS的批量数据迁移

开源工具选项 #

• Apache Flink
  借助JDBC连接器读取Postgres，支持通过游标或自定义分片逻辑实现并行读取。即使没有均匀分布的数值列，也能基于主键（字符串类型也可）做范围分片，或者临时利用Postgres的ctid做数据拆分（仅迁移场景临时使用）。写入HDFS Parquet时，Flink的文件系统连接器支持高效批量写入，还能自动合并小文件，适配数十亿行级别的大表迁移。并行度可灵活调整，容错机制完善，任务失败可从checkpoint恢复，无需从头执行。
• Apache NiFi
  提供现成的Postgres JDBC读取和HDFS Parquet写入处理器，可视化配置即可完成迁移流程。针对无均匀分区列的表，可通过SplitRecord处理器按记录数拆分批次，或用分页查询+多线程实现并行读取。低代码特性适合多表批量迁移，自带监控和重试机制，运维成本低。
• pg_dump + Apache Arrow
  用pg_dump的并行导出参数（-j）拆分导出大表数据，再通过Apache Arrow工具将导出数据转换为Parquet格式，最后上传至HDFS。依托Postgres原生导出工具，性能稳定，Arrow转换Parquet的效率极高，适合对性能要求苛刻的场景。

增强型工具选项 #

• ByteHouse 数据迁移工具
  支持Postgres到HDFS的Parquet迁移，内置智能分片逻辑，自动识别主键或唯一键拆分数据，无需依赖均匀数值列。支持并行读写，针对超大规模表做了性能优化，还提供迁移进度监控。
• DataHub（LinkedIn开源）
  虽主打数据血缘，但内置的Ingestion功能支持Postgres到HDFS的Parquet导出，可配置多线程读取和自定义分片策略，适配多表批量迁移场景，还能自动同步表结构变更。

现有Spark方案优化 #

如果不想更换工具，可通过以下方式优化Spark任务：

• 给无分区列的表临时生成自增列，基于该列分片读取：

  SELECT *, row_number() OVER () AS temp_id FROM your_table
  

  然后Spark按temp_id范围设置partitionColumn等参数做分区查询。
• 针对字符串主键，计算其哈希值的min和max，将哈希值作为partitionColumn设置分片参数，实现并行读取。
• 开启Spark动态分区调整和任务失败重试（spark.task.maxFailures），降低任务失败的影响。

内容的提问来源于stack exchange，提问作者willshen