Google Storage HEAD请求响应缺失Content-Length头的排查咨询（基于Apache Libcloud）

针对你用Apache Libcloud 3.3.0访问Google Storage时，部分application/json且gzip编码的文件HEAD请求缺失content-length头（仅返回x-goog-stored-content-length）导致KeyError的问题，我梳理了以下可能的原因和分析：

一、可能引发问题的上传操作场景 #

这些上传时的操作差异，是导致GCS不返回content-length的主要诱因：

• 分块上传未正常收尾：如果文件是通过分块上传（Resumable Upload）方式上传，且最后一步的完成请求未正确执行（比如客户端中断后恢复上传但流程不完整），GCS可能会成功存储文件，但元数据处理时会跳过content-length字段，仅用x-goog-stored-content-length记录实际存储的字节数。
• 上传时使用Chunked编码且未指定Content-Length：如果上传请求采用Transfer-Encoding: chunked编码，且没有在请求头中显式设置Content-Length，GCS服务端是动态接收字节流的，不会主动补全这个标准头，只会用自定义头记录实际存储大小。
• 客户端压缩后未同步设置Content-Length：问题文件是gzip编码的application/json，如果你是在客户端完成压缩后上传，同时设置了Content-Encoding: gzip但没有计算并设置压缩后的Content-Length，GCS不会自动生成这个字段，只会保留实际存储的字节数在自定义头里。
• 第三方上传工具的元数据遗漏：如果上传时用的不是Google官方SDK，而是其他第三方工具/库，可能在处理请求元数据时没有正确传递Content-Length，导致GCS没有在HEAD响应中返回该字段。

二、是否属于Google Storage服务端BUG？ #

大概率不是服务端BUG，这其实符合GCS的元数据处理逻辑：

• content-length是HTTP标准头，只有当服务端在上传时明确收到这个字段，或者能确定文件总长度时，才会在HEAD响应中返回；
• x-goog-stored-content-length是GCS的自定义头，无论上传方式如何，都会准确记录实际存储在服务器上的文件字节数；
• 你提到其他gzip编码文件正常，说明那些文件的上传流程正确传递了Content-Length，而问题文件的上传环节存在上述某一种差异。

当然，如果你的上传流程完全符合规范（比如用官方SDK上传且显式设置了Content-Length）但仍出现这个问题，那可能是GCS的边缘场景BUG，建议通过Google Cloud Support提交工单，附带文件的上传日志和对象ID来排查。

三、针对Libcloud的临时修复方案 #

你已经发现改用x-goog-stored-content-length可以解决问题，这里给出更健壮的兼容修改代码，既保留原有逻辑，又能处理缺失content-length的情况：

def _headers_to_object(self, object_name, container, headers):
    hash = headers['etag'].replace('"', '')
    extra = {'content_type': headers['content-type'], 'etag': headers['etag']}
    meta_data = {}
    if 'last-modified' in headers:
        extra['last_modified'] = headers['last-modified']
    for key, value in headers.items():
        if not key.lower().startswith(self.http_vendor_prefix + '-meta-'):
            continue
        key = key.replace(self.http_vendor_prefix + '-meta-', '')
        meta_data[key] = value
    # 优先使用标准的content-length，不存在则 fallback 到GCS的自定义头
    size = headers.get('content-length') or headers.get('x-goog-stored-content-length')
    obj = Object(name=object_name, size=size,
                 hash=hash, extra=extra, meta_data=meta_data, container=container, driver=self)
    return obj

内容的提问来源于stack exchange，提问作者RunOrVeith