Flink如何解决分区数据膨胀与同键数据写入竞争问题？

从Kafka主题获取数据后，通过flatMap操作拆分数组生成多个事件：

• 输入事件格式：

Event(eventId: Long, time: Long)
IncomingEvent(customerId: Long, events: List[Event])

• 拆分后的事件格式：

EventAfterExploding(customerId: Long, eventId: Long, time: Long)

拆分后的事件将通过Flink提供的JDBC Sink写入MySQL。已知同一Kafka分区内的数据对应相同customerId，但单个输入事件可能包含大量eventId，flatMap后会导致同一Flink分区数据过载，引发延迟甚至OOM问题。

需要同时解决两个核心问题：

• 解决分区数据膨胀，避免延迟与内存溢出
• 确保同一(customerId, eventId)对的所有事件发送至同一个Sink算子，避免写入竞争（例如同组的event1（时间戳1）与event2（时间戳2），需保证数据库最终留存最新的event2，若分属不同Sink分区可能出现旧数据留存的异常）

现验证以下代码是否可行，核心思路是通过keyBy重新分配数据，保证同(customerId, eventId)对进入同一分区：

incomingEvents
  .flatMap(new ExplodingFunction())
  .keyBy(event => (event.customerId, event.eventId))
  .addSink(JdbcSink.sink(...))

你给出的代码完全可行，可同时解决分区膨胀与写入竞争问题，具体原因如下：

1. 解决分区数据膨胀：keyBy会基于(customerId, eventId)的哈希值重新分配数据到不同的Flink并行分区，原本集中在单个分区的大量事件会被均匀分散到多个子任务中，有效缓解单分区数据过载，避免OOM和处理延迟。
2. 避免写入竞争：keyBy保证所有相同(customerId, eventId)的事件都会被路由到同一个Sink算子实例，同一组事件的写入操作由同一个线程处理，天然保证了顺序性——后到达的新事件（时间戳更大）会覆盖先到达的旧事件，不会出现不同Sink实例同时操作同一数据对导致的旧数据留存问题。

额外补充两个优化建议：

• 若使用的Flink版本支持，建议采用JDBC Upsert Sink，并指定(customerId, eventId)作为主键，数据库层面会自动处理更新逻辑，进一步降低数据覆盖异常的概率。
• 可在flatMap之后添加filter操作，提前过滤无效事件（如时间戳非法、字段缺失的事件），减少后续算子的处理压力。

内容的提问来源于stack exchange，提问作者sparkless