Java中使用OpenTelemetry时如何处理Collector故障

问题描述 #

我在Spring Boot 3.2应用中采用Micrometer + OpenTelemetry桥接方案搭建链路追踪。测试时发现，当OpenTelemetry Collector不可用时，处理器会持续在应用堆内存中累积追踪数据，最终导致应用因EXCEPTION_STACK_OVERFLOW崩溃。

我期望能在Collector不可用时自动丢弃追踪数据，避免遥测组件影响核心业务稳定性。已查阅Otel和Micrometer官方文档，尝试调整重试策略（代码如下）及BatchSpanProcessor批处理大小，但均无法阻止堆溢出。

@Bean
public MetricExporter grpcMetricExporter() {
  return OtlpGrpcMetricExporter.builder().setEndpoint(tracingEndpoint).setRetryPolicy(
          RetryPolicy.builder().setMaxAttempts(1).build()).build();
}

解决方案 #

1. 配置BatchSpanProcessor的队列上限与丢弃策略 #

默认BatchSpanProcessor未设置队列上限，Collector不可用时会无限堆积数据。需显式配置队列大小，当队列满时自动丢弃新的追踪数据：

@Bean
public SpanProcessor batchSpanProcessor(OtlpGrpcSpanExporter spanExporter) {
    return BatchSpanProcessor.builder(spanExporter)
            .setMaxQueueSize(1000) // 设置队列最大容量
            .setMaxExportBatchSize(100) // 单次导出批量大小
            .setExporterTimeoutMillis(5000) // 导出超时时间
            .build();
}

2. 给Micrometer指标配置缓冲与过期策略 #

除了调整重试次数，还需限制Micrometer指标的缓冲大小，并设置指标自动过期，避免指标持续累积：

@Bean
public MeterRegistryCustomizer<MeterRegistry> meterRegistryCustomizer() {
    return registry -> {
        registry.config().bufferSize(1000); // 设置指标缓冲上限
        registry.config().expireMetersAfterUse(true); // 指标不再使用时自动过期
    };
}

3. 自定义Span处理器实现智能丢弃 #

如果默认处理器的丢弃逻辑不满足需求，可自定义SpanProcessor，在onEnd方法中判断Collector状态，若不可用则直接丢弃Span：

public class DropOnFailureSpanProcessor implements SpanProcessor {
    private final SpanProcessor delegate;
    private volatile boolean collectorAvailable = true;

    public DropOnFailureSpanProcessor(SpanProcessor delegate) {
        this.delegate = delegate;
    }

    @Override
    public void onStart(Context parentContext, ReadWriteSpan span) {
        delegate.onStart(parentContext, span);
    }

    @Override
    public boolean isStartRequired() {
        return delegate.isStartRequired();
    }

    @Override
    public void onEnd(ReadableSpan span) {
        if (collectorAvailable) {
            delegate.onEnd(span);
        }
        // 否则直接丢弃，不加入导出队列
    }

    // 这里可以通过监控Collector的健康状态更新collectorAvailable标记
    public void setCollectorAvailable(boolean available) {
        this.collectorAvailable = available;
    }
}

使用时将其包装在BatchSpanProcessor外层：

@Bean
public SpanProcessor dropOnFailureSpanProcessor(OtlpGrpcSpanExporter spanExporter) {
    BatchSpanProcessor batchProcessor = BatchSpanProcessor.builder(spanExporter)
            .setMaxQueueSize(1000)
            .build();
    return new DropOnFailureSpanProcessor(batchProcessor);
}

4. 指标导出的降级方案 #

当Collector不可用时，切换为DropMetricExporter直接丢弃指标，避免指标堆积：

@Bean
public MetricExporter metricExporter(@Value("${tracing.endpoint}") String endpoint) {
    try {
        // 先尝试连接Collector，失败则使用DropMetricExporter
        OtlpGrpcMetricExporter otlpExporter = OtlpGrpcMetricExporter.builder()
                .setEndpoint(endpoint)
                .setRetryPolicy(RetryPolicy.builder().setMaxAttempts(1).build())
                .build();
        // 可添加健康检查逻辑验证连接
        return otlpExporter;
    } catch (Exception e) {
        return DropMetricExporter.getInstance();
    }
}

内容的提问来源于stack exchange，提问作者Simas Joneliunas