JDBC Kafka Source Connector未生成主题且无事件采集求助

问题背景 #

ksqlDB中嵌入的JDBC源连接器状态显示正常：

ENTITY_CHANGE  | SOURCE | io.confluent.connect.jdbc.JdbcSourceConnector | RUNNING (1/1 tasks RUNNING)

但未像本地环境一样生成jdbc_entity_change主题，也采集不到数据变更。连接器创建语句及日志信息如下：

连接器创建语句 #

CREATE SOURCE CONNECTOR entity_change WITH (
    'connector.class'          = 'io.confluent.connect.jdbc.JdbcSourceConnector',
    'connection.url'           = redacted,
    'connection.user'          = redacted,
    'connection.password'      = redacted,
    'topic.prefix'             = 'jdbc_',
    'mode'                     = 'timestamp+incrementing',
    'numeric.mapping'          = 'best_fit',
    'incrementing.column.name' = 'id',
    'timestamp.column.name'    = 'last_modified',
    'key'                      = 'id',
    'key.converter'            = 'org.apache.kafka.connect.converters.LongConverter',
    'query'                    = 'redacted'
);

关键日志信息 #

日志显示连接器初始化成功，且实际生效的topic.prefix为jdbc_entity_change（与创建语句中的jdbc_不一致）：

2023-03-13 11:09:03 ksqldb-server              |        topic.prefix = jdbc_entity_change

可能的配置问题点 #

• topic.prefix配置不一致：创建语句中设置的topic.prefix是jdbc_，但日志显示实际生效的是jdbc_entity_change，这会导致连接器使用的主题名与预期不符。当使用query参数时，JDBC连接器会直接将topic.prefix作为主题名，而非前缀加表名，需确保配置的主题名正确，且Kafka集群允许自动创建主题（auto.create.topics.enable=true）。
• timestamp+incrementing模式依赖字段异常：
  • 确认last_modified字段是可自动更新的时间戳类型，且数据变更时该字段会同步更新；若字段值固定不变，连接器无法检测到变更。
  • 检查id字段是否为严格递增的主键，无重复或递减值，否则增量跟踪逻辑会失效。
  • 确保自定义查询语句返回结果中包含id和last_modified字段，否则连接器无法跟踪偏移量。
• 自定义query参数的限制：使用query指定SQL时，连接器不会自动检测表结构变化，且需确保查询语句支持增量过滤（即包含基于timestamp和incrementing字段的WHERE条件），否则可能无法正确捕获变更；同时需验证查询语句在数据库中能正常返回数据，无语法错误或结果为空的情况。
• 偏移量初始化设置：首次运行时若未设置timestamp.initial，连接器仅会捕获当前时间之后的变更。若历史数据的last_modified早于当前时间，需手动设置timestamp.initial为较早的时间戳（如'1970-01-01T00:00:00Z'）触发全量同步。
• Kafka权限问题：检查Kafka Connect运行账号是否拥有目标主题的创建权限和写入权限，权限不足会导致即使连接器运行正常，也无法生成主题或写入数据。
• 主题手动创建不匹配：若手动创建主题，需确保主题名与连接器实际使用的topic.prefix完全一致（日志显示为jdbc_entity_change），同时主题的分区、副本配置需符合Kafka集群要求。

内容的提问来源于stack exchange，提问作者Farhan Islam