在Go中用OpenTelemetry和gRPC确保微服务trace_id一致的问题

在Go项目中使用OpenTelemetry实现多微服务请求追踪，目标是让API服务器（基于Gin框架）和数据库服务（gRPC通信）的trace_id保持一致，方便调试。但按照OpenTelemetry和gRPC上下文传播文档配置后，两个服务的trace_id仍然不一致。

API服务器（调用方）简化配置 #

// 初始化路由...
s.router.Use(otelgin.Middleware(os.Getenv("APP_NAME")))

// 创建数据库服务连接
func getDBConnection(ctx context.Context) (*grpc.ClientConn, error) {
    // 配置包含OpenTelemetry拦截器的gRPC连接选项
    ddTraceInterceptor := grpctrace.UnaryClientInterceptor(grpctrace.WithServiceName("apiserver"))

    return grpc.DialContext(
        ctx, // 传播上下文
        "db_service_endpoint",
        grpc.WithUnaryInterceptor(ddTraceInterceptor),
        grpc.WithTransportCredentials(insecure.NewCredentials()),
        grpc.WithStatsHandler(otelgrpc.NewClientHandler()))
}

数据库服务（被调用方）简化配置 #

func main() {
    // 简化的OpenTelemetry instrumentation gRPC服务器初始化
    grpcServer := grpc.NewServer(
        grpc.StatsHandler(otelgrpc.NewServerHandler()))
    // 服务注册代码省略
}

双方共用的Trace Provider初始化代码 #

tp := sdkTrace.NewTracerProvider()
otel.SetTracerProvider(tp)
defer func() { _ = tp.Shutdown(ctx) }()
otel.SetTextMapPropagator(propagation.NewCompositeTextMapPropagator(propagation.TraceContext{}, propagation.Baggage{}))

补充说明：

• 两个服务是独立的Go应用；
• 双方使用的OpenTelemetry SDK及工具版本兼容；
• 除Datadog拦截器外，无其他可能修改上下文的中间件或拦截器。

需要解决的问题：请求从API服务器流向数据库服务时，数据库服务日志中的trace_id与API服务器不匹配，如何确保端到端追踪的trace_id一致？

核心原因 #

1. 追踪组件冲突：同时使用Datadog的gRPC客户端拦截器和OpenTelemetry的StatsHandler，两者在trace上下文传播、生成逻辑上存在重叠，导致数据库服务接收到的trace上下文被干扰，最终生成新的trace_id。
2. 初始化顺序错误：otel.SetTextMapPropagator在TracerProvider创建之后执行，导致TracerProvider无法正确使用配置的传播器传递trace上下文。

具体修复步骤 #

1. 统一使用OpenTelemetry官方gRPC拦截器 #

移除Datadog拦截器，替换为OpenTelemetry官方的gRPC客户端拦截器，避免组件冲突：

import "go.opentelemetry.io/contrib/instrumentation/google.golang.org/grpc/otelgrpc"

func getDBConnection(ctx context.Context) (*grpc.ClientConn, error) {
    // 使用OpenTelemetry官方客户端拦截器
    otelInterceptor := otelgrpc.UnaryClientInterceptor(
        otelgrpc.WithTracerProvider(otel.GetTracerProvider()),
    )

    return grpc.DialContext(
        ctx,
        "db_service_endpoint",
        grpc.WithUnaryInterceptor(otelInterceptor),
        grpc.WithTransportCredentials(insecure.NewCredentials()),
        // 移除StatsHandler，拦截器已包含完整追踪逻辑
    )
}

2. 调整Trace Provider初始化顺序 #

确保传播器配置在TracerProvider创建前完成，保证TracerProvider能正确读取传播器设置：

// 先设置文本传播器
otel.SetTextMapPropagator(propagation.NewCompositeTextMapPropagator(propagation.TraceContext{}, propagation.Baggage{}))

// 再创建并设置TracerProvider
tp := sdkTrace.NewTracerProvider()
otel.SetTracerProvider(tp)
defer func() { _ = tp.Shutdown(ctx) }()

3. 优化数据库服务的gRPC服务器配置 #

将数据库服务的StatsHandler替换为OpenTelemetry官方的gRPC服务器拦截器，提升上下文解析的可靠性：

import "go.opentelemetry.io/contrib/instrumentation/google.golang.org/grpc/otelgrpc"

func main() {
    otelServerInterceptor := otelgrpc.UnaryServerInterceptor()
    grpcServer := grpc.NewServer(
        grpc.UnaryInterceptor(otelServerInterceptor),
    )
    // 服务注册代码
}

4. 确认上下文传递正确性 #

API服务器调用gRPC接口时，必须传入经过otelgin.Middleware处理后的请求上下文，不能使用空上下文或新创建的上下文，确保trace信息被正确携带。

内容的提问来源于stack exchange，提问作者LiorKesten