如何用Fluentd的in_http源每30秒采集DropWizard服务指标至Elasticsearch？

当然可以实现你的需求，但需要先明确：Fluentd的in_http是被动接收HTTP请求的数据源，而非主动拉取数据的插件。如果你想用in_http，需要配合外部定时任务将指标数据推送到Fluentd；更直接的方式是用in_exec插件让Fluentd主动定时拉取数据，无需额外组件，下面分两种方案说明：

方案一：使用in_exec主动拉取（推荐） #

这个方案让Fluentd每30秒主动调用curl获取DropWizard的指标，直接转发到Elasticsearch，无需外部定时任务。

1. Fluentd配置文件（fluentd.conf） #

<source>
  @type exec
  # 替换为你的DropWizard服务地址
  command curl -s http://<DROPWIZARD_SERVICE_NAME>:<PORT>/admin/metrics
  tag dropwizard.metrics
  # 每30秒执行一次拉取
  run_interval 30s
</source>

<match dropwizard.metrics>
  @type elasticsearch
  # 替换为你的Elasticsearch地址（Docker环境下可用服务名）
  host <ELASTICSEARCH_HOST>
  port <ELASTICSEARCH_PORT>
  # 按日期生成索引
  index_name dropwizard_metrics-%Y%m%d
  # 禁用logstash格式，使用自定义索引名
  logstash_format false
  # 缩短刷新间隔，确保数据及时发送
  flush_interval 5s
</match>

2. Docker中运行Fluentd #

确保Fluentd安装了fluent-plugin-elasticsearch插件，可通过以下命令运行（或构建自定义镜像）：

docker run -d \
  --network <YOUR_DOCKER_NETWORK> \
  -v $(pwd)/fluentd.conf:/fluentd/etc/fluentd.conf \
  fluent/fluentd:v1.16-debian-1 \
  bash -c "gem install fluent-plugin-elasticsearch && fluentd -c /fluentd/etc/fluentd.conf"

方案二：使用in_http + 外部定时任务推送 #

如果坚持使用in_http，需要通过定时任务将指标数据POST到Fluentd的HTTP端点。

1. Fluentd配置文件（fluentd.conf） #

<source>
  @type http
  # 监听9880端口接收HTTP请求
  port 9880
  bind 0.0.0.0
  tag dropwizard.metrics
</source>

<match dropwizard.metrics>
  @type elasticsearch
  host <ELASTICSEARCH_HOST>
  port <ELASTICSEARCH_PORT>
  index_name dropwizard_metrics-%Y%m%d
  logstash_format false
  flush_interval 5s
</match>

2. 运行Fluentd #

docker run -d \
  --network <YOUR_DOCKER_NETWORK> \
  -p 9880:9880 \
  -v $(pwd)/fluentd.conf:/fluentd/etc/fluentd.conf \
  fluent/fluentd:v1.16-debian-1 \
  bash -c "gem install fluent-plugin-elasticsearch && fluentd -c /fluentd/etc/fluentd.conf"

3. 配置定时推送任务 #

用watch命令或cron容器每30秒推送一次数据：

方式1：直接用watch命令

watch -n 30 'curl -s http://<DROPWIZARD_SERVICE_NAME>:<PORT>/admin/metrics | curl -X POST -H "Content-Type: application/json" -d @- http://<FLUENTD_SERVICE_NAME>:9880/dropwizard.metrics'

方式2：Docker cron容器

创建cronjob文件：

*/30 * * * * curl -s http://dropwizard-service:PORT/admin/metrics | curl -X POST -H "Content-Type: application/json" -d @- http://fluentd:9880/dropwizard.metrics

运行cron容器：

docker run -d \
  --network <YOUR_DOCKER_NETWORK> \
  -v $(pwd)/cronjob:/etc/cron.d/cronjob \
  -e TZ=UTC \
  alpine:latest \
  sh -c "crontab /etc/cron.d/cronjob && crond -f"

关键注意事项 #

• Docker网络互通：所有相关容器需加入同一个自定义Docker网络，这样可以用服务名代替IP地址访问。
• 插件安装：Fluentd默认不包含Elasticsearch插件，必须确保安装成功，否则无法发送数据到ES。
• 权限与地址：确保DropWizard的/admin/metrics端点可被Fluentd或定时任务访问，无IP白名单或权限限制。

内容的提问来源于stack exchange，提问作者Lars