如何通过CLI过滤AWS CloudWatch日志？含日期过滤疑问

1. 修复aws logs start-query的MalformedQueryException错误 #

你原命令的查询字符串语法错误，parse指令用法不符合CloudWatch Logs Insights规范，且未正确解析JSON字段并设置过滤条件。以下是修正后的命令：

queryId=$(aws logs start-query \
    --log-group-name "${loggroup}" \
    --start-time $(date -jnRu -v-1d +%s) \
    --end-time $(date +%s) \
    --query-string "fields @timestamp, @message
| parse @message as json
| fields json.latencies.request as requestLatency, json.request.uri as requestUri
| filter requestLatency > 15000 and requestUri = 'some/api/call'
| limit 20" | jq --raw-output '.queryId')

echo "查询日志组 ${loggroup}"
aws logs get-query-results \
    --query-id $queryId --output text

关键修正点：

• 用parse @message as json将日志消息解析为JSON对象
• 通过fields提取目标字段并命名，简化后续过滤逻辑
• 使用filter指令实现与控制台一致的条件判断
• 替换反引号为$()进行命令替换，避免shell解析歧义

2. filter-log-events的日期过滤支持 #

filter-log-events命令完全支持日期范围过滤，通过--start-time和--end-time参数实现，参数值为Unix时间戳（秒级）。

修改后的函数示例：

aws_cw_filter_logs(){
  echo "使用查询过滤日志"
  local loggroup=${1:-"myloggroup"}
  local logstream=${2:-"app/app/sdasdsadas"}     
  local query=${3:-"{($.latencies.request >15000) && ($.request.uri = \"/some/api/\")}"}
  # 定义时间范围：过去1天到当前时间
  local start_time=$(date -jnRu -v-1d +%s)
  local end_time=$(date +%s)

  aws logs filter-log-events \
    --log-group-name "$loggroup" \
    --log-stream-names "$logstream" \
    --start-time "$start_time" \
    --end-time "$end_time" \
    --max-items 1 \
    --output text \
    --filter-pattern "$query"
}

注意事项：

• --start-time和--end-time为可选参数，不指定时默认查询全量日志
• 时间戳需为秒级，可通过date命令动态生成任意范围的时间值
• 变量添加双引号包裹，避免空格或特殊字符引发的shell解析错误

内容的提问来源于stack exchange，提问作者bruvio