Debezium Server（无Kafka）同步Oracle到Event Hub性能优化咨询

一、Oracle源端读取优化 #

• 调整批量和队列参数：当前max.batch.size=2048、max.queue.size=8192可适当调高，比如设为max.batch.size=4096，max.queue.size=16384，提升单次读取的事件量，减少轮询次数。同时把query.fetch.size从1000调到2000或4000，增加Oracle日志挖掘时的单次数据抓取量。
• 优化日志挖掘策略：当前用的online_catalog，如果数据库是Oracle 12.2及以上版本，试试catalog_only模式，减少对在线日志的依赖，提升解析效率；另外检查log.mining.query.filter.mode=in是否为最优过滤方式，确保只抓取目标表的变更，避免处理无效数据。
• 调整偏移量刷新策略：当前offset.flush.interval.ms=0意味着每处理一条事件就刷一次偏移量到文件，磁盘IO开销极大。改成5000（5秒）即可，平衡数据安全性和IO性能，减少磁盘写入频率。

二、Debezium处理端优化 #

• 简化数据转换逻辑：看看TimestampConverter转换器是不是必须的，业务允许的话尽量少做字段转换；unwrap转换里的add.fields只保留业务必需的字段，删掉不必要的元数据，减少序列化/反序列化的开销。
• 调整轮询间隔：当前poll.interval.ms=1000，如果源端变更频率很高，可降到500ms，让Debezium更频繁拉取日志；要是变更量不大，保持1000ms即可，避免不必要的数据库连接开销。

三、Azure Event Hub Sink端优化 #

• 调整批量发送参数：当前maxbatchsize=1048576（1MB），可根据单条消息大小调整，比如单条消息较小的话，提到4194304（4MB），增加单次发送的批量大小，减少网络请求次数。
• 取消固定分区ID：现在配置了partitionid，强制所有消息发往同一个分区，直接限制了Event Hub的并行处理能力。删掉这个配置，让Event Hub自动按消息键分区，利用多分区的并行发送能力提升吞吐量。
• 检查网络带宽：确保Linux服务器到Azure Event Hub的网络稳定，无带宽瓶颈。用iftop这类工具监控流量，必要时升级服务器带宽或者选择就近的Azure区域部署Event Hub。

四、基础环境与配置优化 #

• 替换文件存储为Azure Blob：当前用FileSchemaHistory和文件存储偏移量，磁盘IO是潜在瓶颈。换成Azure Blob存储来保存偏移量和schema历史，配置示例：

  debezium.source.offset.storage=io.debezium.storage.azure.blob.offset.AzureBlobOffsetBackingStore
  debezium.source.offset.storage.azure.blob.container.name=your-container-name
  debezium.source.offset.storage.azure.blob.account.name=your-account-name
  debezium.source.offset.storage.azure.blob.account.key=your-account-key
  debezium.source.schema.history.internal=io.debezium.storage.azure.blob.history.AzureBlobSchemaHistory
  debezium.source.schema.history.internal.azure.blob.container.name=your-container-name
  

• 升级Debezium版本：使用最新稳定版的Debezium Server，新版本通常会修复性能瓶颈和Oracle连接器的bug，整体处理效率更高。
• 调整JVM参数：Debezium基于Quarkus，得给够内存处理批量数据。启动时添加JVM参数，比如-Xmx8G -Xms4G，避免内存不足导致频繁GC拖慢处理速度。
• 优化日志配置：当前日志max-file-size=1M会导致频繁滚动，增加磁盘IO。改成100M，减少滚动次数，降低IO开销。

内容的提问来源于stack exchange，提问作者Pradyumn Joshi