如何实现DataDog与EMR Serverless的集成？求相关技术文档

前提准备 #

• 拥有有效DataDog账号，已完成基础Agent配置；具备AWS EMR Serverless的管理与配置权限。

集成步骤 #

1. CloudWatch指标同步 #

EMR Serverless默认将核心指标推送至AWS CloudWatch，可通过DataDog的AWS集成同步这些指标：

• 在DataDog控制台进入Integrations > AWS，启用CloudWatch集成模块
• 创建并配置IAM角色，赋予DataDog读取AWS/EMRServerless命名空间下CloudWatch指标的权限
• 在DataDog中筛选并启用需要同步的EMR Serverless指标（如作业执行时长、资源使用率等）

2. 日志收集 #

方式一：S3中转拉取

• 配置EMR Serverless将作业日志输出到指定S3桶
• 在DataDog控制台启用S3集成，配置对应桶的读取权限，自动拉取并解析日志

方式二：直接上报日志

在EMR Serverless作业的启动脚本中添加日志上报逻辑，示例片段：

export DD_API_KEY="你的DataDog API密钥"
curl -X POST "https://http-intake.logs.datadoghq.com/v1/input" \
  -H "Content-Type: application/json" \
  -H "DD-API-KEY: $DD_API_KEY" \
  -d '{"message": "$(cat /path/to/emr-serverless-log)", "service": "emr-serverless", "host": "emr-serverless-job"}'

3. 作业代码埋点（自定义监控） #

针对Spark/Hive等作业，可通过DataDog SDK添加自定义监控：

• Spark作业：引入dd-trace-java依赖，在作业启动时配置Trace代理，捕获执行链路数据
• 代码中添加自定义指标上报，比如：

  import com.timgroup.statsd.NonBlockingStatsDClient;
  NonBlockingStatsDClient statsd = new NonBlockingStatsDClient(
      "emr.serverless", "datadog-agent-host", 8125);
  statsd.increment("job.task.completed");
  statsd.timing("job.processing.duration", 1234);
  

关键配置注意事项 #

• 确保IAM角色权限最小化：DataDog角色仅需CloudWatch只读、S3只读（日志拉取）权限；EMR Serverless作业角色需具备S3写入（日志输出）或DataDog API调用权限
• 根据作业类型选择合适的日志上报方式，批量作业推荐S3中转，实时作业可考虑直接上报

内容的提问来源于stack exchange，提问作者Partha