GCP F4实例处理CSV转JSON内存不足，求非升级实例的解决方案

针对你在F4实例上处理650MB CSV转JSON时遇到的内存溢出问题，以下是不用升级实例规格的解决办法：

1. 削减Gunicorn Worker数量 #

F4实例默认只有1GB内存，8个Worker会把内存分割得过于零散，每个Worker可用内存不足，很容易触发OOM。建议根据实例内存调整Worker数量，公式参考：
可用内存 = 实例总内存 - 系统预留内存（约200-300MB）
每个Worker至少预留200MB内存，所以1GB实例的话，设置workers = 3是比较合理的选择。修改Gunicorn配置后，每个Worker能获得足够内存处理文件。

2. 流式处理，避免全量加载文件 #

不要把整个CSV文件下载到内存再转换，改用流式读写的方式，逐行处理数据：

• 使用Google Cloud Storage客户端库的流式接口，直接从GCS读取CSV行，转换为JSON后立即写入目标位置（GCS或本地临时文件）
• 示例代码片段：

  from google.cloud import storage
  import csv
  import json
  
  def convert_csv_to_json(bucket_name, csv_path, json_path):
      client = storage.Client()
      bucket = client.bucket(bucket_name)
      csv_blob = bucket.blob(csv_path)
      json_blob = bucket.blob(json_path)
  
      # 流式读取CSV
      with csv_blob.open("r") as csv_file:
          reader = csv.DictReader(csv_file)
          # 流式写入JSON数组
          with json_blob.open("w") as json_file:
              json_file.write("[")
              first = True
              for row in reader:
                  if not first:
                      json_file.write(",")
                  json.dump(row, json_file)
                  first = False
              json_file.write("]")
  

  这种方式下，内存中只会保留当前处理的一行数据，不会加载整个650MB文件，内存占用极低。

3. 用临时文件存储中间数据 #

如果需要批量处理部分数据，不要将数据保存在内存中，使用Python的tempfile模块创建本地临时文件：

• 分块下载CSV到临时文件，再从临时文件读取数据转换为JSON，处理完成后临时文件会自动删除
• 这样内存占用仅局限于当前处理的块大小，不会累积整个文件的内存开销

4. 优化Gunicorn配置减少内存浪费 #

• 开启preload_app = True：预加载应用代码，多个Worker共享同一代码段，减少重复内存占用
• 设置--max-requests和--max-requests-jitter：让Worker处理一定数量的请求后自动重启，避免内存泄漏累积
• 例如：gunicorn --workers 3 --preload_app --max-requests 100 --max-requests-jitter 20 app:app

5. 转移任务到异步处理服务（可选） #

如果业务允许非实时处理，可以把CSV转JSON的任务剥离到Cloud Tasks或Cloud Functions：

• App Engine仅负责接收请求并提交任务到Cloud Tasks，由Cloud Functions执行大文件转换（可配置2GB内存，按需付费）
• 彻底避免F4实例处理高内存任务，从根源解决OOM问题

内容的提问来源于stack exchange，提问作者Ankit Singh