Python查找指定日期范围内创建的GCS blob存储对象的高效方法问询

你给出的代码不是查找指定日期范围内GCS Blob存储对象的最高效实现。它采用的全量拉取对象再本地过滤的逻辑，仅适合桶内对象极少的测试场景，生产环境使用会产生非常高的不必要开销。

• 没有利用GCS的服务端过滤能力，会拉取桶内所有对象的元数据再做本地判断，当桶内对象量级超过1万时，请求耗时、流量消耗都会指数级上升
• 每次函数调用都会重新初始化storage.Client实例，高频调用场景下会额外增加重复初始化的开销

GCS官方Python SDK的list_blobs接口原生支持按创建时间做服务端过滤，你可以直接传入时间参数让GCS服务端完成筛选，仅返回符合条件的对象元数据，不需要本地遍历所有对象：

# 建议将storage.Client实例提到函数外复用，避免重复初始化
storage_client = storage.Client()

def objects_in_date_range(store, start_date, end_date):
    bucket = storage_client.get_bucket(store)
    # 直接用SDK原生的start_time和end_time参数做服务端过滤
    # 注意传入的start_date、end_date需要是带时区信息的datetime对象，和Blob的time_created属性时区保持一致
    for blob in bucket.list_blobs(start_time=start_date, end_time=end_date):
        yield blob.name

如果你的Blob命名本身带有时间前缀（例如2024/06/01/access_log/xxx.txt格式），可以额外给list_blobs增加prefix参数，进一步缩小服务端的扫描范围，查询性能会更好。

内容的提问来源于stack exchange，提问作者user2302244