You need to enable JavaScript to run this app. Postgres到Kafka Day0加载的Debezium源连接器配置咨询
优惠活动
大模型
产品
解决方案
定价
更多

Postgres到Kafka Day0加载的Debezium源连接器配置咨询

Debezium Connect 1.4 版本场景实操指南

一、Kafka 集群 SASL 认证配置

当前使用的debezium/connect:1.4镜像无需自定义挂载配置文件,直接在原有docker run启动命令中追加对应环境变量,即可实现Connect worker到Kafka集群的SASL认证链路打通,覆盖worker运行涉及的所有角色(消费者、生产者、管理员)的认证参数:

  • 所有配置通过CONNECT_开头的环境变量传入,镜像启动时会自动将参数同步到分布式worker的核心配置文件中,无需手动修改容器内的配置项
  • 必须覆盖的三类SASL配置缺一不可:
    • 消费者端:对应worker拉取内部offset、配置、状态topic的认证链路,配置项包含CONNECT_CONSUMER_SECURITY_PROTOCOL、CONNECT_CONSUMER_SASL_MECHANISM、CONNECT_CONSUMER_SASL_JAAS_CONFIG
    • 生产者端:对应worker向Kafka写入同步数据、offset、配置、状态信息的认证链路,配置项和消费者端参数值保持一致即可
    • 管理员端:对应worker自动创建内部存储topic的认证链路,参数值和前面两项保持一致即可
  • 不同SASL机制只需要修改对应模块的类名、机制值即可,比如使用PLAIN机制时,将SASL_MECHANISM的值改为PLAIN,JAAS_CONFIG中的LoginModule类替换为org.apache.kafka.common.security.plain.PlainLoginModule即可。

二、Postgres 连接详情传入与Day0加载配置

Postgres的连接参数不需要在容器启动阶段写死,也不需要修改容器内部文件,全部通过Connect提供的REST接口提交到连接器配置中即可,所有连接器配置会自动持久化到Kafka的内部配置topic中:

  1. 等Connect容器启动完成、8083端口可正常访问后,调用REST接口创建Postgres连接器,将所有连接详情写入请求体的config字段中即可,核心配置字段包括:
    • database.hostname:Postgres主机地址
    • database.port:Postgres服务端口
    • database.user:Postgres连接账号
    • database.password:Postgres连接密码
    • database.dbname:需要同步的数据库名
    • table.include.list:需要同步的表清单
  2. 1.4版本的Debezium Postgres连接器默认snapshot.mode=initial模式,会在第一次启动连接器时自动执行全量数据快照(也就是需要的Day0全量加载),快照完成后自动切换到WAL日志实时同步链路,无需额外开启特殊开关。
  3. 提交连接器的示例命令:
    curl -X POST http://<Connect服务器IP>:8083/connectors \
    -H "Content-Type: application/json" \
    -d '{
      "name": "pg-sync-connector",
      "config": {
        "connector.class": "io.debezium.connector.postgresql.PostgresConnector",
        "tasks.max": "1",
        "database.hostname": "10.x.x.x",
        "database.port": "5432",
        "database.user": "debezium_sync",
        "database.password": "sync_pwd",
        "database.dbname": "prod_db",
        "database.server.name": "prod_pg",
        "plugin.name": "pgoutput",
        "snapshot.mode": "initial",
        "table.include.list": "public.order_info,public.user_info"
      }
    }'
    

三、修正后的完整可运行启动命令

docker run -it --rm --name postgres-connect -p 8083:8083 \
  -e BOOTSTRAP_SERVERS=host1:8080 \
  -e GROUP_ID=test-1 \
  -e CONFIG_STORAGE_TOPIC=my_connect_configs \
  -e OFFSET_STORAGE_TOPIC=my_connect_offsets \
  -e STATUS_STORAGE_TOPIC=my_connect_statuses \
  -e CONNECT_CONSUMER_SECURITY_PROTOCOL=SASL_PLAINTEXT \
  -e CONNECT_CONSUMER_SASL_MECHANISM=SCRAM-SHA-256 \
  -e CONNECT_CONSUMER_SASL_JAAS_CONFIG='org.apache.kafka.common.security.scram.ScramLoginModule required username="kafka_sync_user" password="kafka_sync_pwd";' \
  -e CONNECT_PRODUCER_SECURITY_PROTOCOL=SASL_PLAINTEXT \
  -e CONNECT_PRODUCER_SASL_MECHANISM=SCRAM-SHA-256 \
  -e CONNECT_PRODUCER_SASL_JAAS_CONFIG='org.apache.kafka.common.security.scram.ScramLoginModule required username="kafka_sync_user" password="kafka_sync_pwd";' \
  -e CONNECT_ADMIN_SECURITY_PROTOCOL=SASL_PLAINTEXT \
  -e CONNECT_ADMIN_SASL_MECHANISM=SCRAM-SHA-256 \
  -e CONNECT_ADMIN_SASL_JAAS_CONFIG='org.apache.kafka.common.security.scram.ScramLoginModule required username="kafka_sync_user" password="kafka_sync_pwd";' \
  debezium/connect:1.4

常见注意点:提交连接器前需要确保Postgres侧已开启逻辑复制,给同步账号授予REPLICATION权限,否则连接器启动会校验失败。

内容的提问来源于stack exchange,提问作者user1578872

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.08 03:27:03