如何配置OpenTelemetry使其发送Trace至Exporter失败时主动报错

需求背景 #

链路数据准确性优先级高于100%运行可用性（已知该倾向可能意味着OpenTelemetry不是最优选型，仍需确认需求可实现性）。当前方案为通过APM将Trace导出至Elastic，实际使用中存在两个明确异常。

现存问题 #

• 静默失败问题：Bearer Token未配置或配置错误时，系统无任何错误提示，也无Trace数据记录，故障完全无感知。
• 高吞吐丢数问题：最高速度写入10万条Trace数据时，仅约2000条成功上报，其余数据全部被丢弃。

当前使用的核心配置 #

var tracerProvider = Sdk.CreateTracerProviderBuilder()
    .SetSampler(new AlwaysOnSampler())
    .AddSource("MyCompany.MyProduct.MyLibrary")
    .AddOtlpExporter(o =>
    {
        o.ExportProcessorType = ExportProcessorType.Batch;
        o.TimeoutMilliseconds = 100 * 1000;
        o.Protocol = OtlpExportProtocol.Grpc;
        o.Endpoint = new Uri("https://somepath:443");
        o.Headers = "Authorization=Bearer token1";
    })
    //.AddConsoleExporter()
    .Build();

Task.Run(() =>
{
    for (int i = 0; i < 100000; i++)
    {
        using (var activity = MyActivitySource.StartActivity("SayHello"))
        {
            activity?.SetTag("foo", 1);
        }
    }
});

Console.WriteLine("Done");
Console.ReadLine();

根因分析与适配方案 #

静默失败问题 #

默认配置下OpenTelemetry .NET的OTLP导出器不会主动将导出错误输出到常规日志，导出失败的事件仅在SDK内部诊断源上报，无订阅时不会产生任何提示，就会出现鉴权失败完全无感知的情况。
修复方案：

1. 开启SDK自诊断：在程序运行目录放置OTEL_DIAGNOSTICS.json配置文件，指定日志输出路径、日志级别为Warning及以上，鉴权失败、网络中断、导出超时等所有异常都会被写入日志文件，不会再出现静默故障。
2. 自定义导出处理器：重写导出失败回调逻辑，出现导出错误时直接记录业务日志或触发告警，完全匹配优先保障数据准确性的要求。

高吞吐丢数问题 #

当前使用的默认BatchExportProcessor（批量导出处理器）默认队列容量为2048，单批次导出大小为512，导出调度间隔为5000ms。短时间内高速生成Span时，导出速度远低于生成速度，队列被打满后新进入的Span会被直接丢弃，这就是10万条数据仅上报约2000条的核心原因——默认队列长度刚好为2048。
适配方案根据数据可靠性要求分两类：

1. 零丢数方案：将导出处理器类型改为Simple（简单导出处理器）。该模式下每生成一个Span就会同步执行导出逻辑，无内存队列，不会出现队列满丢数的情况。代价是导出耗时会直接叠加在业务执行路径上，符合准确性优先级高于可用性的选型要求。
   核心配置修改片段：

   o.ExportProcessorType = ExportProcessorType.Simple;
   

2. 低损耗批量方案：如果希望保留批量导出的低性能损耗特性，手动调大批量处理器参数，适配峰值吞吐：

   o.ExportProcessorType = ExportProcessorType.Batch;
   o.BatchExportProcessorOptions = new BatchExportProcessorOptions<Activity>
   {
       MaxQueueSize = 200000, // 队列大小设置为峰值吞吐量的2倍以上
       MaxExportBatchSize = 10000, // 单批次最大导出条数
       ScheduledDelayMilliseconds = 1000, // 导出调度间隔缩短到1秒
       ExporterTimeoutMilliseconds = 100*1000
   };
   

   注意：该方案仅能降低峰值场景下的丢数概率，如果导出速度长期低于Span生成速度，队列打满后依然会丢数，无法做到100%数据可靠。

内容的提问来源于stack exchange，提问作者ghostbust555