VPC日志量过大如何缩减？单VPC每小时超10万条

不用依赖Kinesis额外聚合，你可以尝试以下几种更直接的优化手段：

• 优化日志过滤规则
  通过配置filter-log-statements精准筛选需要保留的流量，排除高频但无价值的日志（比如内部健康检查、已知的服务间固定流量）。示例规则：

  [version, account-id, interface-id, source-address, destination-address, source-port, destination-port, protocol, packets, bytes, start, end, action, log-status]
  filter (destination-port = 80 or destination-port = 443) and (action = 'REJECT')
  

  这个规则只会记录80/443端口的拒绝流量，大幅减少冗余日志。

• 调整聚合相关的其他参数
  除了MaxAggregationInterval: 600，还可以配合调整AggregationBatchSize（最大聚合批次大小，默认1000），比如设为10000，让单条聚合日志包含更多原始流量记录，降低总日志条数。注意要平衡延迟和日志量，更大的批次会带来少量延迟。

• 缩小日志采集范围

  • 把VPC Flow Logs的采集类型从ALL改为REJECT或ACCEPT，只保留你关心的流量类型；
  • 不为所有子网/网络接口启用日志，只针对关键业务子网或接口开启，减少不必要的采集。

• 启用CloudWatch Logs采样
  如果部分流量不需要全量记录，可以在CloudWatch Logs日志组中设置采样规则，比如对非核心流量设置10%的采样率，既能缩减日志量，又能保留流量趋势数据。

• 拆分日志组
  将单个VPC的日志按子网、业务模块或环境拆分到多个日志组，每个日志组的日志量会相应减少，同时也更便于后续的日志分析和管理。

内容的提问来源于stack exchange，提问作者Derrops