如何使用PDI（Pentaho Data Integration）通过ETL实现单表全量数据复制

针对使用Pentaho Data Integration（简称PDI）实现单张源表全量数据完整复制到目标表的需求，可按照以下标准配置流程搭建转换任务：

核心转换流程搭建 #

• 首先在新建的转换画布中添加**表输入（Table Input）**步骤，关联对应源数据库连接，编写全量检索SQL：SELECT * FROM 源数据表名称，取消“获取行数量限制”类的限制配置，保证能够拉取源表的全量数据。
• 若源表和目标表的字段结构完全一致，不需要做字段转换、数据过滤逻辑，可直接将表输入步骤连线到后续的输出步骤，搭建最简的同步转换结构；如果需要提前校验字段结构一致性，可在表输入步骤后衔接**字段选择（Select Values）**步骤，逐一核对源表输出字段的名称、数据类型、长度精度，从源头避免后续写入时的类型转换、长度截断问题。
• 衔接**表输出（Table Output）**步骤，关联对应目标数据库连接，选择写入的目标表，按实际场景配置写入规则：
  • 目标表尚未创建时，勾选“创建表”选项，PDI会自动基于源表的字段元数据生成结构匹配的目标表
  • 目标表已存在时，按需选择写入模式：全量覆盖场景下勾选“截断表”，实现每次任务运行清空旧数据后写入全量新数据；需要留存历史数据时则保持默认追加模式
  • 开启“指定数据库字段”配置，逐一绑定源字段与目标表字段的对应关系，避免因为字段顺序不一致引发的写入错位

常见配置踩坑点 #

• 小流量预验证：任务上线前先给表输入步骤加上LIMIT 100的测试条件，跑通全链路流程后再移除限制，避免大表全量拉取时因为配置错误反复重试拖慢效率
• 批量参数调整：根据目标库的性能表现调整表输出的“提交记录数量”参数，默认值1000适合大多数常规场景，大表同步时可适当调高参数提升写入效率，避免事务提交过于频繁
• 空值与特殊字符校验：提前确认源表的特殊字符、空值处理逻辑，避免因为目标表字段的非空约束、特殊字符转义规则不匹配引发的写入报错

内容的提问来源于stack exchange，提问作者Franck White