Pentaho与MySQL连接重置问题求助：大转换中断后如何恢复或避免？

一、避免MySQL连接随机重置的方案 #

• 调整MySQL连接超时配置：修改MySQL的my.cnf（Linux）或my.ini（Windows）配置文件，增大wait_timeout和interactive_timeout参数（例如设为86400，即24小时），重启MySQL服务生效。同时在Pentaho的JDBC连接URL后拼接参数：jdbc:mysql://host:port/db_name?autoReconnect=true&maxReconnects=10&connectTimeout=30000，让连接断开时自动重试。
• 优化Pentaho连接池参数：在Pentaho数据库连接的“连接池”设置中，调整maxIdle（最大空闲连接数）、minEvictableIdleTimeMillis（连接可被回收的最小闲置时间），确保该时间小于MySQL的wait_timeout，让连接池提前回收闲置连接并重建，避免被MySQL主动断开。
• 拆分大型转换任务：将单一大转换拆分为多个逻辑独立的小转换，用Pentaho作业（Job）串联执行。每个小转换完成后自动释放数据库连接，减少单连接的持续占用时长，降低被重置的概率。
• 添加连接心跳机制：在转换中插入“执行SQL脚本”步骤，定期执行SELECT 1这类轻量查询，保持连接活跃，防止因长时间无操作被MySQL判定为闲置连接而断开。

二、从中断处恢复转换的方案 #

• 启用检查点（Checkpoint）功能：在转换的“设置”面板中开启检查点，指定某个关键步骤作为恢复点（例如数据读取后的第一个处理步骤）。当任务中断后，重新执行转换时，Pentaho会自动从检查点位置继续处理，无需从头开始。注意要确保数据处理逻辑是幂等的（重复执行不会导致数据重复或错误）。
• 实现进度状态记录：在转换中添加步骤记录已处理数据的标识（如最大主键ID、最新时间戳）。例如用“表输入”步骤筛选未处理数据：SELECT * FROM target_table WHERE id > ${last_processed_id}，再用“更新表”或“写日志”步骤将每次处理后的最大ID写入状态表。中断后重新执行时，先读取状态表中的last_processed_id，继续处理后续数据。
• 配置作业失败处理逻辑：在Pentaho作业中，为每个转换步骤添加失败分支。当转换中断时，触发子作业记录当前处理进度（如已完成的批次、当前数据范围），后续可手动或通过脚本触发作业从记录的进度点继续执行。

内容的提问来源于stack exchange，提问作者Júlia Aguiar