如何配置AWS OpenSearch日志推送至CloudWatch监控update_by_query任务错误？

一、启用OpenSearch索引慢日志（替代审计日志） #

审计日志侧重记录API访问控制信息，不会追踪update_by_query这类异步任务的执行错误细节，你需要启用索引慢日志：

• 登录AWS OpenSearch控制台，进入目标域的配置页面，找到「日志」选项卡
• 开启「索引慢日志」，将慢日志阈值设为0ms（确保所有update_by_query操作都被记录，包括错误请求）
• 这类日志会捕获update_by_query执行过程中的错误、超时、文档处理失败等核心细节

二、配置日志推送至CloudWatch #

• 确认OpenSearch服务关联的IAM角色已具备CloudWatch Logs权限：需包含logs:CreateLogGroup、logs:CreateLogStream、logs:PutLogEvents权限
• 在域的日志配置中，选择将「索引慢日志」推送到指定的CloudWatch日志组（无现有组时会自动创建）

三、CloudWatch仪表盘可视化错误信息 #

1. 打开CloudWatch控制台，进入「日志洞察」，选择对应的OpenSearch日志组
2. 编写查询语句过滤update_by_query的错误日志，例如：

fields @timestamp, @message
| filter @message like /update_by_query/ and @message like /error/
| sort @timestamp desc

3. 将该查询保存为仪表盘组件，直接在仪表盘中展示错误数量、详情等统计信息

四、补充：任务状态指标上报（可选） #

如果需要更直观的任务进度追踪，可通过Lambda实现定期上报：

• 编写Lambda函数，调用OpenSearch的_tasks/{task_id} API获取任务状态（进度、是否失败、错误信息）
• 将任务状态（如task_status：0=运行中，1=成功，2=失败）作为自定义指标推送到CloudWatch
• 在仪表盘添加该自定义指标的可视化组件，实现状态实时监控

内容的提问来源于stack exchange，提问作者Yoni Levine