Gobblin同步MySQL到HDFS报错：无法转换derivedwatermarkcolumn字段

从错误栈和你的配置来看，问题出在全量抽取配置与水印配置的冲突，导致Gobblin生成了一个无效的派生水印字段，进而引发日期解析失败。

具体原因分析 #

1. 错误核心：
   错误信息明确显示：Failed to parse the date，因为Gobblin试图将字符串"abc"转换为timestamp类型——而这个字符串来自自动生成的derivedwatermarkcolumn字段，该字段被标记为水印字段且类型为timestamp，但实际值完全不符合时间格式。

2. 配置冲突点：
   你同时配置了全量抽取和水印相关设置，这两个逻辑是互斥的：

   • 你设置了extract.is.full=true、extract.table.type=snapshot_only、source.querybased.extract.type=snapshot，这些都是全量快照抽取的配置，意味着一次性抽取所有数据，不需要水印来追踪增量变化。
   • 但你又添加了source.querybased.watermark.type=timestamp，这是增量抽取的配置，Gobblin会自动生成derivedwatermarkcolumn作为水印字段，但在全量模式下，这个字段的填充逻辑出现异常，导致被填入了无效的字符串abc。

解决方案 #

1. 移除冲突的水印配置
   打开mysql.properties，注释或删除以下行：

   source.querybased.watermark.type=timestamp
   

   全量抽取不需要水印机制，去掉这个配置后，Gobblin就不会自动生成derivedwatermarkcolumn字段，也就不会触发日期解析错误。

2. 验证配置一致性
   确保你的全量抽取配置保持统一：

   • 保留extract.is.full=true、extract.table.type=snapshot_only、source.querybased.extract.type=snapshot
   • 移除所有和增量、水印相关的配置项

3. 额外检查（可选）
   如果你的MySQL表中实际存在derivedwatermarkcolumn字段，那需要确认该字段的实际数据是否为合法的timestamp格式（比如YYYY-MM-DD HH:MM:SS）。如果数据确实是字符串类型，你需要修改schema配置将其类型改为string，或者清理表中的无效数据。

内容的提问来源于stack exchange，提问作者Chhaya Vankhede