Postgres到Kafka Day0加载的Debezium源连接器配置咨询
Debezium Connect 1.4 版本场景实操指南
一、Kafka 集群 SASL 认证配置
当前使用的debezium/connect:1.4镜像无需自定义挂载配置文件,直接在原有docker run启动命令中追加对应环境变量,即可实现Connect worker到Kafka集群的SASL认证链路打通,覆盖worker运行涉及的所有角色(消费者、生产者、管理员)的认证参数:
- 所有配置通过
CONNECT_开头的环境变量传入,镜像启动时会自动将参数同步到分布式worker的核心配置文件中,无需手动修改容器内的配置项 - 必须覆盖的三类SASL配置缺一不可:
- 消费者端:对应worker拉取内部offset、配置、状态topic的认证链路,配置项包含
CONNECT_CONSUMER_SECURITY_PROTOCOL、CONNECT_CONSUMER_SASL_MECHANISM、CONNECT_CONSUMER_SASL_JAAS_CONFIG - 生产者端:对应worker向Kafka写入同步数据、offset、配置、状态信息的认证链路,配置项和消费者端参数值保持一致即可
- 管理员端:对应worker自动创建内部存储topic的认证链路,参数值和前面两项保持一致即可
- 消费者端:对应worker拉取内部offset、配置、状态topic的认证链路,配置项包含
- 不同SASL机制只需要修改对应模块的类名、机制值即可,比如使用PLAIN机制时,将SASL_MECHANISM的值改为PLAIN,JAAS_CONFIG中的LoginModule类替换为
org.apache.kafka.common.security.plain.PlainLoginModule即可。
二、Postgres 连接详情传入与Day0加载配置
Postgres的连接参数不需要在容器启动阶段写死,也不需要修改容器内部文件,全部通过Connect提供的REST接口提交到连接器配置中即可,所有连接器配置会自动持久化到Kafka的内部配置topic中:
- 等Connect容器启动完成、8083端口可正常访问后,调用REST接口创建Postgres连接器,将所有连接详情写入请求体的config字段中即可,核心配置字段包括:
database.hostname:Postgres主机地址database.port:Postgres服务端口database.user:Postgres连接账号database.password:Postgres连接密码database.dbname:需要同步的数据库名table.include.list:需要同步的表清单
- 1.4版本的Debezium Postgres连接器默认
snapshot.mode=initial模式,会在第一次启动连接器时自动执行全量数据快照(也就是需要的Day0全量加载),快照完成后自动切换到WAL日志实时同步链路,无需额外开启特殊开关。 - 提交连接器的示例命令:
curl -X POST http://<Connect服务器IP>:8083/connectors \ -H "Content-Type: application/json" \ -d '{ "name": "pg-sync-connector", "config": { "connector.class": "io.debezium.connector.postgresql.PostgresConnector", "tasks.max": "1", "database.hostname": "10.x.x.x", "database.port": "5432", "database.user": "debezium_sync", "database.password": "sync_pwd", "database.dbname": "prod_db", "database.server.name": "prod_pg", "plugin.name": "pgoutput", "snapshot.mode": "initial", "table.include.list": "public.order_info,public.user_info" } }'
三、修正后的完整可运行启动命令
docker run -it --rm --name postgres-connect -p 8083:8083 \ -e BOOTSTRAP_SERVERS=host1:8080 \ -e GROUP_ID=test-1 \ -e CONFIG_STORAGE_TOPIC=my_connect_configs \ -e OFFSET_STORAGE_TOPIC=my_connect_offsets \ -e STATUS_STORAGE_TOPIC=my_connect_statuses \ -e CONNECT_CONSUMER_SECURITY_PROTOCOL=SASL_PLAINTEXT \ -e CONNECT_CONSUMER_SASL_MECHANISM=SCRAM-SHA-256 \ -e CONNECT_CONSUMER_SASL_JAAS_CONFIG='org.apache.kafka.common.security.scram.ScramLoginModule required username="kafka_sync_user" password="kafka_sync_pwd";' \ -e CONNECT_PRODUCER_SECURITY_PROTOCOL=SASL_PLAINTEXT \ -e CONNECT_PRODUCER_SASL_MECHANISM=SCRAM-SHA-256 \ -e CONNECT_PRODUCER_SASL_JAAS_CONFIG='org.apache.kafka.common.security.scram.ScramLoginModule required username="kafka_sync_user" password="kafka_sync_pwd";' \ -e CONNECT_ADMIN_SECURITY_PROTOCOL=SASL_PLAINTEXT \ -e CONNECT_ADMIN_SASL_MECHANISM=SCRAM-SHA-256 \ -e CONNECT_ADMIN_SASL_JAAS_CONFIG='org.apache.kafka.common.security.scram.ScramLoginModule required username="kafka_sync_user" password="kafka_sync_pwd";' \ debezium/connect:1.4
常见注意点:提交连接器前需要确保Postgres侧已开启逻辑复制,给同步账号授予REPLICATION权限,否则连接器启动会校验失败。
内容的提问来源于stack exchange,提问作者user1578872
相关产品推荐
相关产品推荐

