Kafka是否能够消费Oracle数据库中产生的未提交数据？

Kafka默认是否能消费到Oracle未提交变更 #

Kafka本身是分布式消息队列，不具备主动抓取Oracle Redo Log的能力，你描述的场景默认是基于CDC（变更数据捕获）工具（如Debezium、Oracle GoldenGate等）将Oracle变更同步到Kafka的架构：

• 所有主流Oracle CDC工具的默认逻辑为仅同步已提交事务到Kafka：Redo Log中虽然会提前写入未提交的变更记录，但也会对应记录事务的提交/回滚标记，CDC工具会先在内存中缓存未提交的事务数据，只有收到对应事务的提交标记后，才会将整批变更写入Kafka Topic；如果收到回滚标记，会直接丢弃对应缓存的事务数据。
• 这种默认配置下，Kafka消费者完全消费不到未提交的Oracle变更。

实现读取Oracle特定会话未提交数据的方案 #

该需求可以通过调整CDC工具配置实现，核心操作如下：

• 选用支持输出未提交变更的CDC工具，例如Debezium的Oracle连接器，开启未提交变更输出配置后，所有Redo Log中记录的变更（含未提交、已回滚）都会被发送到Kafka，每条变更记录会附带事务ID、会话ID、事务状态等元数据字段。
• 你可以在两个链路层做会话过滤：
  • 方案1：在CDC工具侧配置过滤规则，仅将指定会话ID的变更数据发送到Kafka，减少无效数据的传输开销
  • 方案2：在Kafka消费者侧添加过滤逻辑，仅保留目标会话ID对应的变更记录

注意：该方案存在明确副作用：你需要自行在业务侧处理回滚事务的无效数据清洗逻辑，同时开启未提交变更输出后，CDC工具的内存占用和数据传输量都会有明显上升，需要提前做好容量评估。

内容的提问来源于stack exchange，提问作者moin