Terraform生成GCS签名URL后，上传文件目录异常问题排查

问题原因解析 #

GCS里没有真正的“目录”，所谓的目录都是通过对象前缀模拟出来的。你遇到的两种异常本质是签名URL的path指定逻辑和GCS对象命名规则不匹配：

• 当path设为some_directory/时，你上传的文件会被存储为名为some_directory/的对象（这是个特殊的“目录占位符”对象），而不是在该前缀下创建新文件，所以你在“目录”里看不到实际的文件内容。
• 当path设为some_directory时，上传的文件直接被命名为some_directory，相当于把文件内容覆盖了这个前缀的“目录名”对象。

解决方案 #

1. 单个文件上传：指定完整对象路径 #

要把文件传到目标前缀下，必须在签名URL的path里指定完整的对象路径，比如some_directory/your_filename.txt。这样curl上传后，文件会以your_filename.txt的名字出现在some_directory前缀下（也就是你看到的“目录”里）。

Terraform里生成签名URL时，path参数要包含文件名：

resource "google_storage_object_signed_url" "file_upload" {
  bucket       = "your-bucket-name"
  path         = "some_directory/your_filename.txt"
  http_method  = "PUT"
  expires      = "2024-12-31T23:59:59Z"
}

然后用curl上传：

curl -X PUT -T /path/to/local/file.txt "${google_storage_object_signed_url.file_upload.url}"

2. 批量上传目录：用POST Policy替代单个签名URL #

如果要上传整个目录的多个文件，不需要为每个文件单独生成签名URL，可以用GCS POST上传策略（Policy Document）。这种方式可以预先定义允许上传的前缀、文件大小限制、过期时间等规则，然后生成一个通用的上传表单规则，所有符合规则的文件都可以通过这个规则上传到指定前缀下。

Terraform可以生成POST Policy的签名：

resource "google_storage_post_policy" "dir_upload" {
  bucket = "your-bucket-name"
  conditions {
    content_length_range = [0, 10485760] # 限制文件大小0-10MB
    key_prefix           = "some_directory/" # 允许上传到该前缀下
  }
  expires = "2024-12-31T23:59:59Z"
}

然后用curl批量上传目录里的文件（需要循环处理每个文件）：

# 遍历目录下的文件
for file in /path/to/local/dir/*; do
  filename=$(basename "$file")
  curl -X POST "https://storage.googleapis.com/your-bucket-name" \
    -F "key=some_directory/$filename" \
    -F "policy=${google_storage_post_policy.dir_upload.policy}" \
    -F "signature=${google_storage_post_policy.dir_upload.signature}" \
    -F "file=@$file"
done

关键结论 #

• 不能用单个PUT签名URL上传整个目录，每个PUT签名URL只能对应一个具体的对象路径。
• 如果要批量上传目录内容，推荐使用POST Policy方式，只需要生成一次签名规则，就能上传多个符合前缀要求的文件。

内容的提问来源于stack exchange，提问作者wiktor