CloudWatch日志流至ElasticSearch仅显示当日数据，旧日志缺失求助

我来帮你梳理下这个问题，你遇到的情况其实挺常见的，主要是这几个原因导致的，对应解决办法我也整理好了：

1. 订阅过滤器默认不会回溯历史日志 #

这是最核心的原因——当你创建CloudWatch到ES的订阅过滤器时，它默认只会从过滤器创建的那一刻开始，实时推送新产生的日志到ES，不会主动同步之前已经存在的旧日志。也就是说，你创建过滤器之前的那些历史日志，是不会自动跑过来的。

解决办法： #

• 用CloudWatch的日志导出功能转存到S3再导入ES：
  1. 打开CloudWatch日志控制台，找到你的目标日志组，点击「导出数据到S3」，选择你需要同步的旧日志时间范围，完成导出。
  2. 导出到S3后，你可以用ES自带的S3导入功能，或者借助Logstash、AWS Glue这类工具，把S3里的日志文件批量导入到对应的ES索引中。
• 如果日志量不大，也可以试试用AWS CLI命令aws logs filter-log-events拉取旧日志，再批量写入ES，不过这种方式更适合小体量的日志数据。

2. 索引命名和日志时间不匹配 #

你的索引名是cwl-2018.03.20，是固定的单日期索引。如果那些旧日志的时间不是2018年3月20日，就算订阅能推，这些日志要么写不进这个索引，要么被写到其他你没查看的索引里了，自然看不到。

解决办法： #

• 检查订阅过滤器的索引配置：如果是用动态日期模板（比如cwl-YYYY.MM.DD），要确认旧日志对应的日期索引已经被正确创建，并且你在ES里查看了对应的索引。
• 如果是固定索引名，要么确认旧日志的时间是否和索引日期一致，要么修改订阅的索引设置，让旧日志能写入目标索引（不过这种方式不太符合日志按日期归档的最佳实践，谨慎操作）。

3. 权限或索引映射的小问题 #

虽然你已经能看到当日数据，但还是可以排查下这两点：

• 确认订阅用的IAM角色有没有logs:FilterLogEvents权限，并且覆盖了目标日志组（不过一般能同步当日数据的话，权限问题不大，但还是确认下更稳妥）。
• 检查ES索引的映射，看看时间字段（比如@timestamp）的格式是否和旧日志的时间格式匹配，如果格式不兼容，旧日志可能无法被正确索引，自然也看不到。

内容的提问来源于stack exchange，提问作者Atish