RHEL上Confluent读取Oracle 12C数据后Kafka无消息输出求助

针对你在RHEL上搭建Confluent环境后，Oracle 12C批量加载的数据无法被消费者接收的问题，我整理了以下实用排查步骤，帮你定位问题根源：

1. 确认Oracle CDC捕获机制是否覆盖批量加载操作 #

Oracle的LogMiner（Confluent Oracle连接器依赖的核心组件）对部分批量加载操作的支持有限，比如SQL*Loader的direct path模式、带/*+ APPEND */提示的批量插入，这类操作默认不会生成可被LogMiner解析的redo日志记录。你可以做以下检查：

• 验证目标表的补充日志是否开启：执行ALTER TABLE <你的表名> ADD SUPPLEMENTAL LOG DATA (ALL) COLUMNS;，确保表级补充日志已启用；
• 检查数据库级参数：确认SUPPLEMENTAL_LOG_DATA_ALL或SUPPLEMENTAL_LOG_DATA_MIN参数已设置为YES；
• 调整批量加载方式：如果用SQL*Loader，添加direct=false参数；如果是INSERT语句，去掉/*+ APPEND */提示，改用常规插入模式测试。

2. 核对连接器增量捕获配置的准确性 #

你提到已指定唯一递增ID列，需要确保这部分配置没有遗漏：

• 确认incrementing.column.name参数准确指向你的唯一递增ID列（注意大小写，Oracle列名默认大写）；
• 检查连接器的mode参数：如果是仅依赖递增ID，需设置为incrementing；如果结合时间戳，设置为timestamp+incrementing；
• 验证table.whitelist（或table.inclusion.regex）是否正确包含了目标表/视图，避免因表名匹配错误导致连接器忽略数据。

3. 查看连接器运行日志找线索 #

Confluent连接器的日志通常存放在/var/log/confluent/目录（或你自定义的日志路径），搜索oracle_source_05相关日志，重点关注：

• 是否有LogMiner权限报错：比如连接器使用的Oracle用户是否缺少SELECT_CATALOG_ROLE、LOGMINING、CREATE SESSION等必要权限；
• 是否有“no new records detected”类提示：这可能意味着连接器没检测到增量变更，或者批量加载的数据不在捕获范围内；
• 是否有redo日志读取异常：比如日志文件被清理、权限不足导致无法访问。

4. 直接验证主题内的消息情况 #

不要只依赖消费者，直接用Kafka命令行工具确认主题是否真的没有消息：

• 查看主题详情：kafka-topics --describe --bootstrap-server <你的Broker地址>:9092 --topic <连接器生成的主题名>，确认主题分区正常、ISR列表完整；
• 从头消费主题：kafka-console-consumer --bootstrap-server <你的Broker地址>:9092 --topic <连接器生成的主题名> --from-beginning，如果能看到消息，说明问题出在消费者配置（比如订阅主题错误、消费者组偏移量异常）；如果还是没有，说明连接器确实没推送数据。

5. 测试单条插入的捕获情况 #

手动在Oracle表中插入一条新数据，观察连接器是否能将这条数据推送到主题：

• 如果单条插入能正常捕获，那问题确实集中在批量加载的捕获逻辑上，回到步骤1调整批量加载方式或Oracle日志配置；
• 如果单条插入也无法捕获，说明连接器的基础配置或权限存在问题，重新检查连接器的Oracle连接参数、权限、表匹配规则。

6. 确认视图的CDC支持限制 #

你提到测试了表和视图，需要注意：Confluent Oracle连接器对视图的CDC支持有严格限制，尤其是多表关联视图、包含聚合/函数的视图，连接器无法捕获这类视图的变更。建议先排除视图的影响，优先测试基础表的批量加载捕获情况。

7. 检查连接器的初始化与同步逻辑 #

• 如果批量加载的数据是在连接器启动前导入的，需确认连接器是否执行了全量同步：通过curl -X GET http://<Connect节点地址>:8083/connectors/oracle_source_05/status查看任务状态，确认初始化是否完成；
• 如果连接器配置为仅增量同步（mode=incrementing且未开启全量），那启动前的批量数据不会被捕获，需要重新配置连接器开启全量同步，或者手动触发全量刷新。

内容的提问来源于stack exchange，提问作者Frank Blau