Debezium同步PostgreSQL时序数据至MongoDB：Upsert兼容方案咨询

一、替换Debezium默认Upsert为Insert-only适配MongoDB时序表 #

MongoDB时序集合本身不支持upsert，因为它是为仅追加的时序数据设计的，而Debezium MongoDB连接器默认用upsert（基于_id匹配更新）。解决这个问题有两种直接方案：

1. 直接配置连接器写入模式 #

在Debezium MongoDB连接器的配置里添加以下参数，强制使用insert而非upsert：

mongodb.write.mode=insert

这个配置会让Debezium跳过upsert逻辑，直接执行插入操作，完美适配时序表的特性。但要注意：如果你的PostgreSQL遥测数据存在更新旧记录的场景，这个配置会导致重复数据或写入失败。如果你的传感器数据是仅新增不更新的，这是最省心的方案。

2. 自定义转换器处理更新事件 #

如果PostgreSQL侧偶尔会更新旧数据，不想直接丢弃这类事件，可以自定义Debezium的事件转换器：

• 实现io.debezium.transforms.spi.EventTransformer接口，在转换逻辑里把UPDATE事件转为INSERT事件（比如生成新的_id，或者给数据加个updated_at标记），或者直接过滤掉UPDATE事件。
• 连接器配置示例：

  transforms=handleUpsert
  transforms.handleUpsert.type=com.yourteam.transforms.ConvertUpsertToInsert
  

二、解决MongoDB长期数据分区问题 #

Debezium把PostgreSQL分区表合并成单集合后，长期数据量增大的性能问题可以通过两种方式解决：

1. 用MongoDB时序表自动分区 #

MongoDB时序表会根据你指定的时间字段自动分区，完全不用手动维护，非常适合遥测数据场景。创建集合时指定：

db.createCollection("statuses", {
  timeseries: {
    timeField: "time_stamp", // 对应PostgreSQL的time_stamp字段
    metaField: "device_id", // 把设备ID作为元数据字段，优化同设备的查询性能
    granularity: "hours" // 可按需调整为days/months，控制分区粒度
  },
  expireAfterSeconds: 31536000 // 可选配置，自动归档1年前的旧数据
})

这种方式下，MongoDB会自动按时间分片存储数据，配合insert-only写入策略，查询time_stamp+device_id+JSON属性的效率会远高于PostgreSQL的JSON查询。

2. 手动分片（非时序表场景） #

如果不用时序表，想完全对齐PostgreSQL的按月+设备分区逻辑，可以用MongoDB的分片功能：

• 选择{time_stamp: 1, device_id: 1}作为分片键
• 按月预创建分片范围，比如{time_stamp: {$gte: ISODate("2023-07-01"), $lt: ISODate("2023-08-01")}}，这样Debezium同步的数据会自动路由到对应分片。
• 这种方式需要手动维护分片规则，适合有特殊查询需求的场景，不如时序表省心。

三、PostgreSQL分区表同步的注意事项 #

确保Debezium PostgreSQL连接器正确识别分区表：

• 配置中只需要指定主表statuses，Debezium会自动同步所有子分区的数据：

  table.include.list=public.statuses,public.devices
  publication.name=debezium_publication
  include.schema.changes=false
  

内容的提问来源于stack exchange，提问作者Bonje Fir