Filebeat启用ILM时配置自定义索引模板及自动执行的疑问

使用Elastic Stack 7.17.0版本，想要配置ILM（索引生命周期管理）和自定义名称的索引模板，但官方文档明确说明：

If index lifecycle management is enabled (which is typically the default), setup.template.name and setup.template.pattern are ignored.

这导致需求似乎无法实现，因此提出以下三个问题：

1. 当ILM处于启用状态时，能否通过自定义配置设置自定义模板名称？
2. 是否可以运行两个Filebeat配置文件执行setup操作？例如执行命令：filebeat setup --index-management --dashboards -c setup-ilm.yml && filebeat setup --index-management --dashboards -c setup-template.yml
3. 能否将这些setup配置文件放到Filebeat Docker镜像的某个位置实现自动执行？目前只看到modules和inputs目录。

执行setup命令后的日志 #

Loading ILM policy and write alias without loading template is not recommended. Check your configuration.
Index setup finished.
Loading dashboards (Kibana must be running and reachable)
Loaded dashboards
ILM policy and write alias loading not enabled.

Index setup finished.
Loading dashboards (Kibana must be running and reachable)
Loaded dashboards

配置文件内容 #

setup-ilm.yml #

setup:
  ilm:
    enabled: true
    policy_file: "ilm-policy.json"
  template:
    enabled: false

output.elasticsearch:
  hosts: ["elasticsearch:9200"]

setup-template.yml #

setup:
  ilm:
    enabled: false
  template:
    enabled: true
    name: "${ES_NAMESPACE:+${ES_NAMESPACE}-}filebeat-%{[agent.version]}"
    pattern: "${ES_NAMESPACE:+${ES_NAMESPACE}-}filebeat-%{[agent.version]}-*"
  kibana:
    host: "kibana:5601"
  index:
    number_of_shards: 1
    mapping:
      total_fields:
        limit: 5000

output.elasticsearch:
  hosts: ["elasticsearch:9200"]

1. ILM启用时能否自定义模板名称？ #

可以实现，只需调整配置顺序和关联逻辑：
官方文档的限制是ILM启用时，Filebeat会忽略setup.template.name和setup.template.pattern参数，但你可以先在ILM禁用的状态下创建自定义名称的索引模板，再开启ILM并将其与该模板关联：

• 先通过setup-template.yml（ILM禁用）创建自定义名称的模板，确保模板的pattern能覆盖ILM将要生成的索引名称；
• 再通过setup-ilm.yml启用ILM，通过setup.ilm.alias指定与模板匹配的写入别名，ILM就会自动使用你提前创建的自定义模板。

2. 是否可以运行两个配置文件执行setup操作？ #

完全可行。不过可以优化命令避免重复操作：

• 第一个命令仅执行ILM相关配置：filebeat setup --index-management -c setup-ilm.yml
• 第二个命令执行模板和仪表盘配置：filebeat setup --index-management --dashboards -c setup-template.yml

从你提供的日志来看，两次命令都已执行成功，日志中的警告和提示属于正常信息，不影响最终配置效果。

3. Docker镜像中如何自动执行setup配置？ #

Filebeat官方镜像没有默认自动执行setup的目录，但可以通过两种方式实现：

方式一：自定义启动脚本 #

创建entrypoint.sh脚本：

#!/bin/sh
# 执行ILM初始化
filebeat setup --index-management -c /usr/share/filebeat/config/setup-ilm.yml
# 执行模板和仪表盘初始化
filebeat setup --index-management --dashboards -c /usr/share/filebeat/config/setup-template.yml
# 启动Filebeat主进程
filebeat -c /usr/share/filebeat/config/filebeat.yml

将脚本和所有配置文件挂载到镜像的/usr/share/filebeat/config/目录，修改容器启动命令为执行该脚本。

方式二：Docker Compose命令字段 #

在docker-compose.yml中通过command字段串联setup和启动命令：

services:
  filebeat:
    image: docker.elastic.co/beats/filebeat:7.17.0
    volumes:
      - ./setup-ilm.yml:/usr/share/filebeat/config/setup-ilm.yml
      - ./setup-template.yml:/usr/share/filebeat/config/setup-template.yml
      - ./filebeat.yml:/usr/share/filebeat/config/filebeat.yml
      - ./ilm-policy.json:/usr/share/filebeat/config/ilm-policy.json
    command: >
      sh -c "filebeat setup --index-management -c /usr/share/filebeat/config/setup-ilm.yml &&
             filebeat setup --index-management --dashboards -c /usr/share/filebeat/config/setup-template.yml &&
             filebeat -c /usr/share/filebeat/config/filebeat.yml"

容器启动时会自动依次执行setup操作，再启动Filebeat主进程。

内容的提问来源于stack exchange，提问作者bilak