如何通过Stackdriver在GCS归档/清理日志及相关技术问题

我来逐个拆解你遇到的这几个Cloud Logging（原Stackdriver Logging）相关问题，都是日常使用中很容易碰到的点：

1. 这些日志存储在何处？ #

默认情况下，通过API写入的日志会先存储在Cloud Logging的托管内置存储中，这个存储由Google Cloud托管，你不用关心底层具体位置，直接通过Cloud Logging控制台、API或gcloud命令就能访问。

如果没做额外配置，日志会有默认的保留期限（目前是30天），超过期限会自动清理。当你创建了关联GCS存储桶的接收器后，符合过滤器条件的日志会异步导出到指定的GCS bucket中，但导出过程可能有几分钟的延迟，不是实时同步的。

2. 如何修改代码使日志关联特定资源而非「Global」？ #

要让日志关联到特定的GCP资源，你需要在Python代码中显式指定resource参数，这个参数要符合Cloud Logging的资源格式要求——包含资源类型（type）和对应的标签（labels）。

以google-cloud-logging库为例，给你一个关联GCE实例的代码示例：

from google.cloud import logging_v2
from google.cloud.logging_v2.resource import Resource

# 初始化Logging客户端
client = logging_v2.Client()

# 定义要关联的资源（这里以GCE实例为例）
target_resource = Resource(
    type="gce_instance",  # 资源类型，常见的还有cloud_function、gcs_bucket等
    labels={
        "instance_id": "your-instance-123",  # 你的实例ID
        "zone": "us-central1-a"  # 实例所在的可用区
    }
)

# 获取日志器并写入带资源关联的日志
logger = client.logger("my-custom-logger")
logger.log_text("这条日志会关联到指定的GCE实例", resource=target_resource)

不同资源类型对应的标签要求不一样，比如关联Cloud Function的话，type是cloud_function，labels需要包含function_name、region等字段，你可以根据实际使用的资源类型调整。

3. 已创建接收器但my-bucket中无法查看导出的日志？ #

这种情况大概率是以下几个原因之一，你可以逐一排查：

• 导出延迟：Cloud Logging的导出不是实时的，通常需要等待3-5分钟甚至更久，先耐心等一会儿再检查bucket。
• 权限配置缺失：Cloud Logging的导出服务账号没有写入GCS bucket的权限。你需要找到当前项目的Logging导出服务账号（格式是service-{你的项目编号}@gcp-sa-logging.iam.gserviceaccount.com），给它添加roles/storage.objectCreator角色到目标GCS bucket上。
• 过滤器规则错误：接收器的过滤器可能没有匹配到你要导出的日志。你可以先在Cloud Logging控制台用同样的过滤器搜索日志，确认是否有符合条件的日志结果。比如如果过滤器设置了severity>=ERROR，但你的日志都是INFO级别，自然不会被导出。
• 资源跨项目问题：如果你的Logging项目和GCS bucket不在同一个GCP项目，需要确保跨项目的权限配置正确，包括bucket的跨项目访问权限和接收器的配置。

4. 如何归档/清理这些日志？ #

可以分两种场景来处理：

针对Cloud Logging内置存储的日志 #

• 配置日志保留期限：在Cloud Logging的日志仓库设置中，你可以针对特定的日志类型、资源或项目设置自定义保留时间，超过时间后日志会自动被清理。
• 创建归档接收器：将日志导出到GCS、BigQuery或Cloud Storage归档存储类（比如Archive Storage），把不常用的日志转移到低成本存储中。

针对已导出到GCS bucket的日志 #

• 设置GCS生命周期规则：在bucket的生命周期管理中添加规则，比如：
  • 30天后将日志对象转移到Coldline Storage（低成本冷存储）
  • 180天后转移到Archive Storage（最低成本归档存储）
  • 365天后自动删除日志对象
• 用自动化工具清理：比如编写Cloud Functions，定期扫描bucket中的旧日志文件并删除，或者使用gsutil命令行工具批量清理。

内容的提问来源于stack exchange，提问作者Ragul Bhagwanth