使用Python脚本同步Salesforce数据到GCP BigQuery触发超时错误如何解决

cloud-function-1被触发后会将SalesForce数据存储至GCP_Bucket-1，进而触发cloud-function-2运行Python脚本，将数据写入GCP BigQuery SQL数据库。当前Python脚本运行逻辑无异常，仅处理大量数据时抛出超时错误。

配置层面优化（快速生效，改配置即可） #

• 调整cloud-function-2的执行超时阈值：GCP第二代Cloud Function最大支持配置3600秒（1小时）超时，第一代最大支持540秒（9分钟），若当前配置远低于上限，直接调高即可快速解决中小体量数据的超时问题。
• 提升cloud-function-2的内存分配：GCP Cloud Function的CPU算力和内存分配正相关，2GB以上内存会分配多核CPU，调高内存可直接提升Python脚本的处理速度，缩短单任务执行时长。

代码层面优化（改少量代码即可，处理效率提升明显） #

• 替换单条写入逻辑为批量写入：放弃单条INSERT逐行写入BigQuery的逻辑，改用bigquery.Client().load_table_from_file()/load_table_from_json()方法批量导入，可同时开启ignore_unknown_values等参数适配非标准化数据，写入效率可提升10倍以上。
• 改用GCS文件分块读取逻辑：处理大文件时不要全量读入内存，改成逐块读取的方式降低内存占用、提升处理速度，示例逻辑如下：

from google.cloud import storage
storage_client = storage.Client()
bucket = storage_client.get_bucket("GCP_Bucket-1")
blob = bucket.blob("待处理的源文件路径")
# 按10MB大小分块读取，可根据实际情况调整块大小
with blob.open("r", chunk_size=10*1024*1024) as f:
    for line in f:
        # 单块数据处理逻辑
        process_single_line(line)

• 时效性要求高的场景可开启分片流式写入：针对超过100MB的源文件，先在脚本中做数据分片，调用bigquery.Client().insert_rows_json()方法分片流式写入，避免单批次处理压力过大。

架构层面优化（适合超大数据量场景，彻底解决超时问题） #

• 替换触发逻辑为GCS触发Cloud Run：如果单文件处理时长超过1小时，Cloud Run最大支持配置1小时执行时长（部分区域支持24小时），且资源配置灵活度远高于Cloud Function，可自定义运行环境适配复杂处理逻辑。
• 新增大文件拆分逻辑：在cloud-function-1环节就将SalesForce导出的大文件拆分为多个100MB以内的小文件存入GCS，每个小文件单独触发cloud-function-2运行，避免单实例处理压力过载。
• 无复杂清洗需求可直接用BigQuery原生导入：如果不需要做复杂的自定义数据转换，直接调用BigQuery原生GCS导入作业，不需要自定义函数处理，无超时限制，导入成本极低。

内容的提问来源于stack exchange，提问作者user 98