Debezium偏移量主题消息结构解析及参数含义咨询

我正尝试理解Debezium所用偏移量主题（offsets' topic）中的消息结构，计划向该主题添加新消息，使Debezium重启后能从指定的binlog文件及位置开始同步，因此需要明确该JSON消息的结构。

执行kcat命令查看主题内容：

$ kcat -b localhost:9092 -C -t debezium-events-offset-local-topic-events2 -f 'Partition(%p) %k %s\n' -K '|' -O
Partition(0) ["debezium_mysql_connector",{"server":"debezium-cdc-events2"}] {"transaction_id":null,"ts_sec":1698175034,"file":"mysql_bin_log.008984","pos":219,"row":148,"server_id":1,"event":12}
Partition(0) ["debezium_mysql_connector",{"server":"debezium-cdc-events2"}] {"transaction_id":null,"ts_sec":1698175040,"file":"mysql_bin_log.008984","pos":2806147,"row":38,"server_id":1,"event":7}
Partition(0) ["debezium_mysql_connector",{"server":"debezium-cdc-events2"}] {"transaction_id":null,"ts_sec":1698175045,"file":"mysql_bin_log.008984","pos":5757850,"row":61,"server_id":1,"event":28}
Partition(0) ["debezium_mysql_connector",{"server":"debezium-cdc-events2"}] {"transaction_id":null,"ts_sec":1698175050,"file":"mysql_bin_log.008984","pos":8548701,"row":148,"server_id":1,"event":12}

选取其中一条消息为例：

Key: ["debezium_mysql_connector",{"server":"debezium-cdc-events2"}]
Value: {"transaction_id":null,"ts_sec":1697687362,"file":"mysql-bin-changelog.001433","pos":0,"row":0,"server_id":1,"event":0}

问题与解答 #

1. Value中各属性的含义是什么？ #

• transaction_id: 当前偏移量关联的MySQL事务ID，未处于事务中时为null
• ts_sec: 对应binlog事件的秒级Unix时间戳，即事件发生的时间
• file: 当前同步到的MySQL binlog文件名
• pos: binlog文件内的字节偏移位置，标记已处理完成的事件末尾
• row: 行级事件中已处理的行序号，非行级事件场景下通常为0或无实际意义的数值
• server_id: 生成该binlog事件的MySQL服务器ID
• event: binlog事件的类型编码，对应MySQL内部定义的事件类型

2. pos与row的区别是什么？ #

• pos是binlog文件的全局字节偏移位置，用来定位到文件中某个具体事件的起始点，适用于所有类型的binlog事件（事务、DDL、行变更等）。
• row仅针对行级变更事件（INSERT/UPDATE/DELETE）有效，标记当前已处理到该事件中的第几行；如果是非行级事件，row的值通常无实际业务意义。

3. server_id是否始终为1？ #

不是。server_id是MySQL的配置项，由my.cnf/my.ini中的server-id参数指定，默认值可能为1，但可根据集群需求修改。在多节点MySQL集群（如主从架构）中，每个节点的server_id必须唯一，因此偏移量中的server_id对应生成该binlog事件的服务器ID，不一定是1。

4. event字段的含义是什么？ #

event是MySQL binlog事件的类型编码，对应MySQL内部定义的事件枚举：

• 例如0代表UNKNOWN_EVENT（未知事件），7代表QUERY_EVENT（SQL执行事件），12代表XID_EVENT（事务提交事件），28代表ROWS_QUERY_EVENT（行查询事件）。
• Debezium通过该字段识别当前处理的事件类型，从而执行对应的同步逻辑。

内容的提问来源于stack exchange，提问作者user674669