如何配置GCP日志存储自动删除生命周期？解决日志未按时删除问题

问题背景 #

• 拥有多个Google Cloud项目，每月产生约200GB日志，预计后续日志量将翻倍
• 最初尝试通过调整日志桶的「retention period in days」（保留天数）管理存储，为某非生产项目设置了1天保留期，但日志并未按预期删除，而是持续累积到次月1日才重置
• 查阅资料后得知需为桶内对象配置生命周期，但涉及的「_Default」日志桶是系统桶，无法进行自定义配置
• 使用gcloud logging logs delete命令删除日志后，存储量仍无变化，需等到次月才会重置
• 疑问：能否将日志生命周期设置为少于一个月？

补充：官方文档描述保留期应自动删除日志，但实际未生效，文档内容翻译如下：

retentionDays（整数）

默认情况下，日志将保留指定时长，到期后自动删除。最短保留期为1天。若创建桶时将该值设为0，则使用默认的30天保留期。

问题分析与解决办法 #

核心原因 #

Google Cloud Logging的**_Default系统日志桶**有特殊的存储逻辑：日志会先以「活跃状态」存储，每月初系统会自动将上月的日志归档为「长期存储」对象，此时才会触发保留期规则进行清理。这就是设置1天保留期后，日志要等到次月1日才被删除的根本原因——保留期规则仅对归档后的长期存储对象生效，活跃状态的日志不受即时删除规则约束。

可行解决方案 #

1. 切换到自定义日志桶

   • 创建自定义日志桶，将非生产项目的日志路由到该桶中。自定义桶支持直接配置保留期规则，且规则会即时生效，无需等待月度归档。
   • 创建自定义桶的命令：

     gcloud logging buckets create my-custom-bucket --location=us-central1 --retention-days=1
     

   • 配置日志路由规则，将目标日志导向自定义桶，替代_Default桶的存储。

2. 配置日志排除规则减少存储量

   • 在项目或组织级别设置日志排除规则，直接过滤掉无需保留的日志（如调试日志、重复冗余日志），从源头减少日志生成量，降低存储压力。
   • 示例：创建排除调试日志的规则（若无需导出日志，可将目标设为null-sink直接丢弃）：

     gcloud logging sinks create exclude-debug-logs null-sink --log-filter="severity = DEBUG" --disabled=false
     

3. 正确理解日志删除命令的作用

   • gcloud logging logs delete仅删除日志的元数据索引，不会立即删除底层存储的日志对象。若要彻底清理归档后的日志，需依赖存储桶的生命周期规则，或等待系统月度清理流程触发。

关于"少于一个月生命周期"的结论 #

对于_Default系统桶，受限于月度归档机制，无法实现少于一个月的即时生效生命周期。但通过自定义日志桶，可以设置1天及以上的任意保留期，日志会在到期后自动删除，无需等待月度重置。

内容的提问来源于stack exchange，提问作者Borislav Gizdov