如何在OpenTelemetry中处理C#生成的大Trace？

针对你遇到的循环操作生成大量Span导致Trace体积超限的问题，业内常用以下几种优化方案，结合C# Activity 生态实现：

方案1：基于采样策略过滤非关键Span #

通过自定义采样规则，只保留循环内操作的关键Span，减少冗余数据：

• 错误采样：仅当someActionOnUser执行失败时生成Span，成功操作跳过追踪
• 比例采样：按固定比例（如10%）采样循环内操作，平衡粒度与体积
• 哈希采样：基于userID哈希值采样，确保同一用户的操作全追踪或全过滤，便于排查特定用户问题

代码示例（错误采样） #

在业务方法内添加判断，仅异常时启动Activity：

void someActionOnUser(string userID)
{
    try
    {
        // 业务逻辑
    }
    catch (Exception ex)
    {
        using var activity = activitySource.StartActivity($"someActionOnUser_{userID}", ActivityKind.Internal);
        activity?.SetTag("error", true);
        activity?.SetTag("exception.message", ex.Message);
        throw;
    }
}

或通过OpenTelemetry全局采样器配置：

var tracerProvider = Sdk.CreateTracerProviderBuilder()
    .AddSource("YourActivitySourceName")
    .AddSampler((samplingParameters) =>
    {
        // 过滤非错误的循环Span
        if (samplingParameters.Name.StartsWith("someActionOnUser_") && !samplingParameters.Attributes.ContainsKey("error"))
        {
            return SamplingDecision.Drop;
        }
        return SamplingDecision.RecordAndSample;
    })
    .Build();

方案2：聚合循环操作生成汇总Span #

不追踪单个用户操作，将循环内所有操作聚合为一个汇总Span，记录统计指标（总耗时、成功/失败数等）：

代码示例 #

void foo()
{
    using var fooActivity = activitySource.StartActivity("foo");
    if (fooActivity == null) return;

    var userIDList = GetUserIDList();
    int successCount = 0;
    int failCount = 0;
    long totalDuration = 0;

    using var batchActivity = activitySource.StartActivity("someActionOnUser_batch", ActivityKind.Internal);

    foreach (var userID in userIDList)
    {
        var startTime = DateTime.UtcNow;
        try
        {
            someActionOnUser(userID);
            successCount++;
        }
        catch (Exception ex)
        {
            failCount++;
            batchActivity?.AddEvent(new ActivityEvent($"user_{userID}_failed", default, new ActivityTagsCollection
            {
                { "exception.message", ex.Message }
            }));
        }
        totalDuration += (long)(DateTime.UtcNow - startTime).TotalMilliseconds;
    }

    // 设置汇总统计标签
    batchActivity?.SetTag("total_users", userIDList.Count);
    batchActivity?.SetTag("success_count", successCount);
    batchActivity?.SetTag("fail_count", failCount);
    batchActivity?.SetTag("total_duration_ms", totalDuration);
}

此方案下，foo的Trace仅包含3个Span，体积大幅压缩，同时保留核心统计信息。

方案3：拆分Trace并通过Link关联 #

通过手动创建独立Trace并添加Link，实现你原本的思路：循环内操作生成独立Trace，与foo的Trace通过Link关联，互不嵌套：

代码示例 #

void foo()
{
    using var fooActivity = activitySource.StartActivity("foo");
    if (fooActivity == null) return;

    var userIDList = GetUserIDList();

    foreach (var userID in userIDList)
    {
        // 创建新的Trace上下文，不继承当前foo的Activity
        var newTraceId = ActivityTraceId.CreateRandom();
        var newSpanId = ActivitySpanId.CreateRandom();
        var newContext = new ActivityContext(newTraceId, newSpanId, ActivityTraceFlags.Recorded);

        // 添加指向foo Activity的Link
        var link = new ActivityLink(fooActivity.Context);

        // 启动循环内的Activity，使用新上下文和Link
        using var userActivity = activitySource.StartActivity(
            $"someActionOnUser_{userID}",
            ActivityKind.Internal,
            newContext,
            links: new[] { link });

        if (userActivity != null)
        {
            try
            {
                someActionOnUser(userID);
            }
            catch (Exception ex)
            {
                userActivity.SetTag("error", true);
                userActivity.SetTag("exception.message", ex.Message);
                throw;
            }
        }
    }
}

此时：

• foo的Trace仅包含自身和GetUserIDList的Span，体积极小
• 每个用户操作的Trace独立存在，通过Link与foo Trace关联
• 在Grafana中可通过Link关联查询，兼顾全局视角与单个Trace的轻量化

方案4：用Activity事件替代Span记录关键信息 #

若无需追踪someActionOnUser的完整链路，仅需记录关键状态（如异常），可在foo的Activity中添加事件而非创建新Span：

代码示例 #

void foo()
{
    using var fooActivity = activitySource.StartActivity("foo");
    if (fooActivity == null) return;

    var userIDList = GetUserIDList();

    foreach (var userID in userIDList)
    {
        try
        {
            someActionOnUser(userID);
            fooActivity.AddEvent(new ActivityEvent($"user_{userID}_processed"));
        }
        catch (Exception ex)
        {
            fooActivity.AddEvent(new ActivityEvent($"user_{userID}_failed", default, new ActivityTagsCollection
            {
                { "exception.message", ex.Message },
                { "user_id", userID }
            }));
            throw;
        }
    }
}

该方案不会生成大量Span，所有事件附加在foo的Span中，Trace体积极小且保留必要排查信息。

内容的提问来源于stack exchange，提问作者TheoM