从Databricks Notebook发送事件到Application Insights丢失问题排查

核心问题分析 #

1. 重复初始化导致组件冲突
   每次调用send_custom_event时都执行configure_azure_monitor，会重复创建OpenTelemetry的追踪提供者、导出器等核心组件。在并行任务场景下，多个实例互相干扰，导致部分事件无法被正确捕获或路由到Azure Monitor。

2. 异步导出未完成即终止
   Azure Monitor OpenTelemetry导出器默认采用批量异步发送策略。当Databricks任务执行完毕后，进程会被快速终止，此时未完成的批量导出任务会被中断，导致事件丢失。这也是你之前用OpenCensus时flush()能解决的核心原因——手动强制完成所有待发送的遥测数据。

具体解决步骤 #

1. 全局初始化，避免重复配置 #

将Azure Monitor的初始化逻辑移到Notebook的开头部分，整个任务生命周期内只执行一次，而非每次发送事件都重新初始化：

from azure.monitor.opentelemetry import configure_azure_monitor
from opentelemetry.trace import get_tracer

# 只在Notebook启动时执行一次初始化
def get_applicationinsights_connection_string():
    return dbutils.secrets.get(get_parameter('subscription_key'), 'application-insights-connection-string')

# 全局初始化连接
connection_string = get_applicationinsights_connection_string()
configure_azure_monitor(connection_string=connection_string)
tracer = get_tracer(__name__)

def send_custom_event(event_name, message_dict):
    print(f'Tracking "{event_name}"')
    # 使用全局初始化的tracer发送事件
    with tracer.start_as_current_span(event_name):
        tracer.add_event(event_name, attributes=message_dict)

2. 手动强制刷新导出（替代OpenCensus的flush()） #

OpenTelemetry提供了force_flush()方法，可强制导出所有待发送的遥测数据。修改发送事件的函数，在发送后触发刷新：

from opentelemetry import trace

def send_custom_event(event_name, message_dict):
    print(f'Tracking "{event_name}"')
    with tracer.start_as_current_span(event_name):
        tracer.add_event(event_name, attributes=message_dict)
    # 强制刷新所有未发送的遥测数据
    trace.get_tracer_provider().force_flush()

3. 优化批量导出配置（可选） #

如果仍存在部分事件丢失，可以通过配置参数调整批量导出的行为，比如减小批量大小、缩短超时时间，让数据更快被发送：

configure_azure_monitor(
    connection_string=connection_string,
    trace_export_interval_ms=1000,  # 每1秒尝试发送一次
    trace_export_batch_size=10      # 累计10条事件就发送
)

4. 任务结束前全局刷新 #

在每个Notebook的最后添加全局刷新操作，确保任务终止前所有数据都已发送：

# 在Notebook末尾执行
trace.get_tracer_provider().force_flush()

内容的提问来源于stack exchange，提问作者Leire Román