如何在Databricks中部署Datadog并在其仪表板展示日志

一、通过集群初始化脚本部署Datadog Agent #

Databricks集群是临时弹性架构，用集群初始化脚本自动安装配置Datadog Agent是最优方案：

1. 在Databricks工作区创建初始化脚本datadog-install.sh，上传到DBFS（示例路径：dbfs:/databricks/scripts/datadog-install.sh），脚本内容如下：

#!/bin/bash

# 替换为你的Datadog API Key
DD_API_KEY="<YOUR_DATADOG_API_KEY>"
# 按区域设置站点，比如us5、eu，默认是datadoghq.com
DD_SITE="datadoghq.com"

# 下载安装Datadog Agent
DD_AGENT_MAJOR_VERSION=7 bash -c "$(curl -L https://s3.amazonaws.com/dd-agent/scripts/install_script.sh)"

# 写入核心配置
cat > /etc/datadog-agent/datadog.yaml <<EOF
api_key: ${DD_API_KEY}
site: ${DD_SITE}
logs_enabled: true
process_config:
  enabled: true
EOF

# 重启Agent生效
systemctl restart datadog-agent

2. 创建/编辑集群时，在高级选项 > 初始化脚本中添加该脚本的DBFS路径，启动集群后Agent会自动完成部署配置。

二、配置Databricks日志采集 #

启用日志采集后，需要针对性配置Databricks的日志路径：

1. 在集群上生成（或通过初始化脚本创建）日志配置文件/etc/datadog-agent/conf.d/dbr.d/conf.yaml，内容如下：

init_config:

instances:

logs:
  - type: file
    path: /dbfs/logs/*/driver/*.log
    service: databricks-driver
    source: databricks
    sourcecategory: application

  - type: file
    path: /dbfs/logs/*/executor/*.log
    service: databricks-executor
    source: databricks
    sourcecategory: application

  - type: file
    path: /var/log/databricks/*.log
    service: databricks-services
    source: databricks
    sourcecategory: system

该配置会采集Driver/Executor的作业日志，以及Databricks服务本身的系统日志。

2. 重启Agent加载新配置：

systemctl restart datadog-agent

三、验证日志在Datadog仪表板展示 #

1. 集群端检查Agent状态，确认日志采集正常：

datadog-agent status

查看输出中的Logs Agent板块，确认配置已加载、正在采集的文件数正常。

2. 登录Datadog控制台：
   • 进入Logs页面，搜索source:databricks，即可看到来自Databricks的日志条目。
   • 创建可视化仪表板：进入Dashboards > New Dashboard，添加Log Stream或Log Analytics小部件，筛选source:databricks即可展示实时日志。

四、额外优化建议 #

• 若是Serverless集群，无法使用初始化脚本，直接在Databricks工作区的集成中搜索Datadog，关联API Key后即可自动采集日志和指标。
• 可在日志配置中添加tags字段（如tags: ["cluster-name:my-dbr-cluster", "env:production"]），方便后续按维度筛选日志。
• 确保集群安全组/网络规则允许Agent访问Datadog对应站点的443端口。

内容的提问来源于stack exchange，提问作者venkat j