如何实现GCS部分文件下载 自定义分段读取的范围请求配置方法

你可以在调用ReadObject接口时传入gcs::ReadRange参数指定字节区间，即可实现分块范围下载，不需要修改原有流式读取的逻辑。

单段范围读取示例 #

以下代码读取文件中1024~5119字节的内容（共4096字节）：

std::int64_t start_offset = 1024;
std::int64_t read_length = 4096;
gcs::ObjectReadStream stream = client.ReadObject(
    bucket_name,
    object_name,
    gcs::ReadRange(start_offset, start_offset + read_length)
);

注意：gcs::ReadRange传入的是左闭右开的字节区间，示例中结束偏移为1024+4096=5120，实际读取的最后一个字节位置为5119。

完整循环分块下载示例 #

如果需要将大文件按固定分块大小完整下载到本地，可以参考以下实现：

#include "google/cloud/storage/client.h"
#include <fstream>
#include <iostream>
#include <algorithm>

namespace gcs = ::google::cloud::storage;

int main(int argc, char* argv[]) {
  if (argc != 4) {
    std::cerr << "Usage: " << argv[0] << " <bucket名> <对象名> <本地输出路径>\n";
    return 1;
  }
  auto bucket_name = argv[1];
  auto object_name = argv[2];
  auto local_output_path = argv[3];

  // 初始化GCS客户端
  auto client = gcs::Client();

  // 先获取对象总大小，用于计算分块数量
  auto meta_res = client.GetObjectMetadata(bucket_name, object_name);
  if (!meta_res) {
    std::cerr << "获取对象元数据失败：" << meta_res.status().message() << "\n";
    return 1;
  }
  std::int64_t total_size = meta_res->size();
  // 分块大小设置为10MB，可根据网络情况自行调整
  const std::int64_t CHUNK_SIZE = 10 * 1024 * 1024;

  std::ofstream out_file(local_output_path, std::ios::binary);
  std::int64_t current_offset = 0;

  while (current_offset < total_size) {
    std::int64_t end_offset = std::min(current_offset + CHUNK_SIZE, total_size);
    gcs::ObjectReadStream stream = client.ReadObject(
        bucket_name,
        object_name,
        gcs::ReadRange(current_offset, end_offset)
    );

    if (!stream) {
      std::cerr << "下载分块失败，区间：" << current_offset << "-" << end_offset << "，错误：" << stream.status().message() << "\n";
      return 1;
    }

    // 写入当前分块数据到本地文件
    out_file << stream.rdbuf();
    current_offset = end_offset;
    std::cout << "下载进度：" << (current_offset * 100 / total_size) << "%\n";
  }

  std::cout << "文件全部下载完成，总大小：" << total_size << "字节\n";
  return 0;
}

额外说明 #

• 如果你需要直接读取从某个偏移到文件末尾的所有内容，可以替换gcs::ReadRange为gcs::ReadFromOffset(start_offset)，不需要手动计算结束偏移
• 分块下载的计费和普通下载一致，按实际传输的字节数收费，不会额外增加请求成本
• 网络环境较差的场景可以适当调小分块大小，避免单请求超时导致重传，网络稳定的场景可以调大分块到50~100MB减少请求次数，提升下载效率

内容的提问来源于stack exchange，提问作者Amit Saini