使用Apache Flink 1.15.3与Delta Connector时指标未递增问题排查

问题背景 #

使用Apache Flink 1.15.3及对应Delta Connector时，应用运行正常，但出现以下警告日志，导致DeltaSinkBytesWritten、DeltaSinkRecordsWritten指标无法上报或递增：

Name collision: Group already contains a Metric with the name 'DeltaSinkBytesWritten'. Metric will not be reported.[xxx, flink, operator]

Name collision: Group already contains a Metric with the name 'DeltaSinkRecordsWritten'. Metric will not be reported.[xxx, flink, operator]

排查方向 #

• 检查Sink实例重复创建情况：确认代码中是否多次初始化同一DeltaSink实例，或在多并行度/多算子场景下，存在重复注册同名指标的逻辑。Flink Metric系统不允许同一operator组内存在同名指标，若多个Sink实例复用了相同Metric组配置，会触发冲突。
• 验证Connector版本兼容性：确认Delta Connector版本是否严格适配Flink 1.15.3。部分版本的Connector可能存在指标重复注册的bug，尤其是自定义Metric实现未做去重处理。
• 检查Metric分组配置：查看Flink的metrics.*相关配置，是否自定义了Metric分组规则，导致不同算子的Metric被归至同一组。比如修改了metrics.scope.operator配置，使得多个Delta Sink的Metric被放入同一个Group。

解决方法 #

• 为每个Sink实例分配独立Metric组：创建DeltaSink时，通过Sink.withMetricGroup(MetricGroup)方法为每个实例指定唯一的Metric子组，避免共享父组。示例代码：

  MetricGroup sinkMetricGroup = getRuntimeContext().getMetricGroup().addGroup("delta_sink", "unique_sink_id");
  DeltaSink<RowData> sink = DeltaSink.forRowDataBuilder(...)
      .withMetricGroup(sinkMetricGroup)
      .build();
  

• 调整Connector版本：若确认是Connector本身的bug，切换至官方适配Flink 1.15.3的稳定版本，避免使用存在指标重复注册问题的版本。
• 修改Metric Scope配置：在flink-conf.yaml中调整算子Metric分组规则，确保每个子任务的Metric组唯一。示例配置：

  metrics.scope.operator: <host>,<taskmanager>,<job>,<task>,<operator>,<subtask>
  

  该配置会让每个子任务的Metric组包含唯一的subtask标识，避免同名指标冲突。
• 关闭冲突指标上报：若不需要这些指标，可通过Delta Connector的配置参数关闭对应Metric生成（参考Connector文档，查找类似delta.sink.metrics.enabled的配置项）。

内容的提问来源于stack exchange，提问作者Adrian David Smith