如何提升MySQL8到ClickHouse的PDI-Spoon Transformation IO速度？

一、MySQL输入端（TABLE INPUT）优化 #

• 调整fetch size参数：在TABLE INPUT的高级设置中，将fetch size设为10000-50000，减少数据库往返次数，提升批量读取效率。
• 合并日期转换逻辑：把SELECT VALUES的日期格式修改逻辑直接嵌入TABLE INPUT的SQL查询中，比如用DATE_FORMAT(your_date_col, '%Y-%m-%d %H:%i:%s')处理日期，避免PDI内存中额外的行转换开销。
• 升级MySQL JDBC驱动：确保使用最新的MySQL Connector/J 8.x驱动，老版本驱动在批量读取场景下性能劣势明显。
• 避免冗余字段传输：明确指定需要迁移的104列（不要用SELECT *），减少不必要的数据传输量。

二、ClickHouse输出端（TABLE OUTPUT）优化 #

• 大批次提交数据：在TABLE OUTPUT设置中，将提交记录数设为100000-500000，同时勾选“使用批量更新”，ClickHouse对大批次插入的处理效率远高于小批次。
• 关闭写入同步与日志：在插入前执行SET send_logs_level = 'none';和SET wait_end_of_query = 0;，减少日志写入和等待开销，适合一次性数据迁移场景。
• 改用ClickHouse专用输出步骤：如果PDI版本支持，替换通用TABLE OUTPUT为ClickHouse Output步骤，它针对ClickHouse列存特性做了优化，能直接按列批量写入。
• 优化表引擎配置：若目标表未创建，优先选择MergeTree引擎，并设置合理的分区键（比如按日期分区），避免使用写入性能差的引擎。
• 临时关闭约束检查：执行SET check_constraints = 0;，跳过不必要的约束校验，加快写入速度。

三、PDI全局配置优化 #

• 调整JVM堆内存：修改spoon.sh中的PENTAHO_DI_JAVA_OPTIONS参数，比如设置为-Xms8G -Xmx16G（根据服务器内存调整，服务器内存32G可设到20G），避免内存不足导致频繁GC拖慢任务。
• 启用并行执行：在转换设置中，将“最大并行运行的步骤数”设为CPU核心数的1.5-2倍，同时开启TABLE INPUT和TABLE OUTPUT的并行执行选项。
• 降低日志级别：将PDI日志级别调整为ERROR或WARN，减少日志IO开销。
• 使用本地连接：若Pentaho Server与数据库在同一服务器，采用本地socket连接（MySQL）或localhost连接（ClickHouse），规避网络传输损耗。

四、系统层面优化 #

• 调整Linux内核参数：增大net.core.rmem_max和net.core.wmem_max至16777216，提升网络传输效率；将磁盘IO调度器设为deadline或noop（适合SSD环境）。
• 集中系统资源：迁移期间停止服务器上的非必要进程，确保CPU、内存、磁盘IO资源优先供给ETL任务。
• 改用SSD存储：将数据库数据目录或PDI临时目录迁移到SSD，大幅提升读写速度。

五、备选高效方案 #

• ClickHouse MySQL引擎直接同步：创建ClickHouse的MySQL引擎表映射源表，执行INSERT INTO target_table SELECT * FROM mysql_mapped_table;完成迁移，绕过PDI中间处理，性能更优。
• CSV导出+COPY INTO导入：用PDI将MySQL数据导出为CSV文件，再通过ClickHouse的COPY INTO命令批量导入，适合超大规模数据迁移场景。

内容的提问来源于stack exchange，提问作者sai