Debezium同步PostgreSQL零时间戳异常问题求助
试试这几个方案解决这个日期转换不兼容的问题:
方案1:调整时间精度模式
把Debezium的time.precision.mode从connect改成adaptive或者adaptive_time_microseconds。
原因是用connect模式时,Debezium会把PostgreSQL的timestamptz转成Kafka Connect的Timestamp类型,但Java的Timestamp处理0001-01-01 UTC这种极早日期时,会因为儒略历和格里高利历的转换偏移,变成0000-12-30,而PostgreSQL不认这个日期。换成adaptive模式后,Debezium会根据字段类型选择合适的格式,能保留原始的日期值,避免转换错误。
修改后的配置:
"time.precision.mode": "adaptive", "decimal.handling.mode": "double",
方案2:用转换器强制指定日期格式
如果方案1不满足需求,可以给Debezium加个时间戳转换器,把start_at转成PostgreSQL兼容的字符串格式,绕开Java的日期转换问题。
配置示例:
"transforms": "convertStartAt", "transforms.convertStartAt.type": "io.debezium.transforms.TimestampConverter", "transforms.convertStartAt.field": "start_at", "transforms.convertStartAt.format": "yyyy-MM-dd HH:mm:ss.SSSSSS XXX", "transforms.convertStartAt.target.type": "string"
这个配置会把start_at字段转成符合PostgreSQL timestamptz要求的字符串,确保值还是0001-01-01 00:00:00.000000 +00:00对应的格式,不会被转成错误的日期。
方案3:源端替换零值(可选)
如果能改源数据的逻辑,把0001-01-01 00:00:00.000000 +00:00换成两边都兼容的最小时间,比如1970-01-01 00:00:00.000000 +00:00(Unix纪元时间),这样转换时就不会出异常了。
验证方法
改完配置重启Debezium连接器,先看Kafka消息里的start_at是不是正确的0001-01-01T00:00:00Z,再通过JDBC Sink写目标库,确认不会再报日期范围错误。
内容的提问来源于stack exchange,提问作者onemin

