构建可观测性平台：Azure Databricks是否自行生成Trace数据？

• Azure Databricks 不会自动生成业务级的端到端链路追踪数据，这也是你在集群的Metrics和Logs标签页找不到Traces内容的原因。
• 不过它会生成少量基础设施级别的底层Trace数据，比如Spark引擎内部任务调度、节点间通信等相关的追踪信息，但这类数据默认不会在集群界面展示，主要用于平台运维排查，无法覆盖你需要的业务流程链路追踪场景。
• 若要获取覆盖数据处理全流程的Trace数据，确实需要在Notebook的PySpark代码中手动做业务埋点：
  • 可以借助OpenTelemetry这类开源工具，在代码中初始化Tracer实例
  • 对关键业务步骤（如数据读取、转换、写入等）添加Span，记录链路上下文
  • 将生成的Trace数据导出到你的可观测性平台，实现和Datalake、Data Factory、Tidal等组件的Trace数据串联整合

内容的提问来源于stack exchange，提问作者Gopinath Rajee