Elasticsearch自定义索引配置异常：Filebeat写入默认索引且setup报错

问题现象 #

• 已在/etc/filebeat/filebeat.yml完成自定义索引配置，执行filebeat setup时抛出异常："no matching index template found for data stream [samba]"
• Elasticsearch端已创建对应自定义索引模板，但启动Filebeat服务后，日志全部写入默认索引.ds-filebeat-8.6.2-2023.03.09-000001

Filebeat配置内容 #

output.elasticsearch:
  # Array of hosts to connect to.
  hosts: ["host-ip:9200"]
  protocol: "https"
  index: "samba-%{[agent.hostname]}-%{[agent.version]}-%{+dd.MM.yyyy}"
  # Authentication credentials - either API key or username/password.
  username: "elastic"
  password: "password"
  ssl:
    enabled: true
    certificate_authorities:
      - |
        -----BEGIN CERTIFICATE-----
       XXX
        -----END CERTIFICATE-----

setup.template:
  name: "samba"
  pattern: "samba-%{[agent.version]}"
  overwrite: true

setup.ilm.enabled: false

Elasticsearch端索引模板信息（API返回） #

{
    "index_templates": [
      {
        "name": "samba",
        "index_template": {
          "index_patterns": [
            "samba-8.6.2"
          ],
          "template": {
            "settings": {
              "index": {
                "mapping": {
                  "total_fields": {
                    "limit": "10000"
                  }
                },
                "refresh_interval": "5s",
                "number_of_shards": "1",
                "max_docvalue_fields_search": "200",
                "query": {
                  "default_field": [
                    // other fileds.
                    "fields.*"
                  ]
                }
              }
            },
            "mappings": {
              "_meta": {
                "beat": "filebeat",
                "version": "8.6.2"
              }
              // about 30.000 line is removed by use vscode ide.
            }
          },
          "composed_of": [],
          "priority": 150,
          "data_stream": {
            "hidden": false,
            "allow_custom_routing": false
          }
        }
      }
    ]
  }

问题分析与修复方案 #

核心问题 #

1. 索引模板匹配范围不覆盖自定义索引：Filebeat配置的索引格式是samba-%{[agent.hostname]}-%{[agent.version]}-%{+dd.MM.yyyy}，但ES端模板的index_patterns仅为samba-8.6.2，无法匹配带主机名和日期后缀的索引名。
2. 数据流模式冲突：报错提示找不到samba数据流的匹配模板，因为Filebeat默认优先使用数据流模式，而当前配置是自定义日期型索引且已关闭ILM，需明确禁用数据流。

具体修复步骤 #

1. 更新ES端索引模板的index_patterns
   将模板的索引匹配模式调整为能覆盖自定义索引格式的通配符，比如：

   "index_patterns": [
     "samba-*-8.6.2-*"
   ]
   

   若agent.version固定，也可使用更通用的模式：

   "index_patterns": [
     "samba-*"
   ]
   

2. 调整Filebeat配置，禁用数据流
   在output.elasticsearch节点下添加配置，强制使用普通索引而非数据流：

   output.elasticsearch:
     # 保留原有配置
     data_stream.enabled: false
   

3. 重新执行setup并重启服务

   filebeat setup
   systemctl restart filebeat
   

验证标准 #

• 执行filebeat setup无报错
• 查看Elasticsearch索引列表，确认日志写入samba-<hostname>-8.6.2-<date>格式的自定义索引，而非默认的.ds-filebeat-*索引

内容的提问来源于stack exchange，提问作者siwm