Elasticsearch能否实现每日滚动次级索引并自动合并前一日索引至主索引

嘿，这个需求完全可以用Elasticsearch原生工具组合实现，不用额外编写外部程序！我来给你拆解具体的实现步骤：

第一步：用索引生命周期管理（ILM）实现每日滚动索引 #

Elasticsearch自带的**索引生命周期管理（ILM）**就是专门处理这类定时滚动索引的场景，操作如下：

1. 创建索引生命周期策略
   先定义一个名为store_daily_rollover的ILM策略，设置每日滚动的触发条件：

PUT _ilm/policy/store_daily_rollover
{
  "policy": {
    "phases": {
      "hot": {
        "actions": {
          "rollover": {
            "max_age": "1d"
          }
        }
      }
    }
  }
}

这个策略会让索引在创建满1天后自动触发滚动操作。

2. 创建索引模板
   为所有滚动生成的次级索引配置统一的mapping和ILM关联，确保它们的结构和主索引store完全一致：

PUT _index_template/store_daily_template
{
  "index_patterns": ["store_*"],
  "template": {
    "settings": {
      "index.lifecycle.name": "store_daily_rollover",
      "index.lifecycle.rollover_alias": "store_daily_write"
    },
    "mappings": {
      // 这里复制主索引store的mapping结构，保证数据格式统一
    }
  }
}

3. 创建初始滚动索引
   初始化第一个符合命名规则的索引，并关联到滚动别名：

PUT store_01_01_2001-000001
{
  "aliases": {
    "store_daily_write": {
      "is_write_index": true
    }
  }
}

之后ILM会自动按照日期规则生成新索引（比如store_02_01_2001-000002，如果需要严格的store_dd_mm_yyyy格式，可以调整索引名称生成逻辑，比如在ILM的rollover动作里自定义index_pattern）。所有新数据只需写入store_daily_write别名，ILM会自动把写入指向最新的滚动索引。

第二步：用Watcher实现自动合并并删除旧索引 #

要实现每日将前一天的次级索引合并到主索引store并删除，你可以用Elasticsearch的Watcher（属于X-Pack付费功能）来定时执行任务：

1. 创建Watcher任务
   创建一个每天凌晨触发的Watcher，自动识别前一天的次级索引，执行数据同步和删除操作：

PUT _watcher/watch/store_merge_and_delete
{
  "trigger": {
    "schedule": {
      "cron": "0 0 1 * * ?" // 每天凌晨1点执行
    }
  },
  "input": {
    "search": {
      "request": {
        "indices": ["_all"],
        "body": {
          "query": {
            "bool": {
              "filter": [
                {"term": {"index.lifecycle.name": "store_daily_rollover"}},
                {"range": {"index.creation_date": {"lte": "now-1d", "gte": "now-2d"}}}
              ]
            }
          }
        }
      }
    }
  },
  "actions": {
    "reindex_to_main": {
      "reindex": {
        "source": {
          "index": "{{ctx.payload.hits.hits.0._index}}"
        },
        "dest": {
          "index": "store",
          "op_type": "create" // 避免重复数据，允许更新可改为"index"
        },
        "conflicts": "proceed" // 遇到冲突时继续执行
      }
    },
    "delete_old_index": {
      "delete": {
        "index": "{{ctx.payload.hits.hits.0._index}}"
      },
      "condition": {
        "compare": {
          "{{ctx.actions.reindex_to_main.response.total}}": {
            "gte": 0 // 确保reindex执行成功后再删除
          }
        }
      }
    }
  }
}

这个Watcher会先搜索出前一天创建的次级索引，然后调用_reindex API把数据同步到主索引store，最后删除这个旧索引。

注意事项 #

• 必须保证主索引store的mapping和所有次级索引完全一致，否则_reindex会因字段不匹配报错，所以一定要用索引模板统一管理mapping。
• 如果使用的是Elasticsearch开源版（OSS），Watcher功能不可用，此时可能需要借助外部定时工具（比如cron）调用ES API，但这就不属于“仅用ES”的范畴了。
• 可以根据业务需求调整滚动时间、合并时间，以及_reindex的参数（比如是否允许覆盖现有文档）。

备注：内容来源于stack exchange，提问作者No1Lives4Ever