如何使用GCP Cloud Functions自动化GA4转BigQuery的Python脚本

一、前期准备 #

• 登录GCP控制台，创建新项目（无现有项目时）
• 启用以下GCP服务：
  • Cloud Functions
  • BigQuery API
  • Google Analytics Admin API
• 创建服务账号，分配以下权限：
  • BigQuery数据编辑者：用于写入数据到BigQuery表
  • GA4属性查看者：用于读取GA4数据
  • Cloud Functions开发者：用于部署函数
• 下载服务账号的JSON密钥文件，妥善保存

二、调整Python脚本适配Cloud Functions #

Cloud Functions为事件驱动架构，需将原有脚本改为函数入口形式，示例如下：

import os
from google.analytics.data_v1beta import BetaAnalyticsDataClient
from google.oauth2.service_account import Credentials
from google.cloud import bigquery

def ga4_to_bigquery(event, context):
    # 加载服务账号密钥
    creds = Credentials.from_service_account_file(
        os.environ.get('SERVICE_ACCOUNT_KEY_PATH')
    )
    
    # 从GA4获取数据
    ga_client = BetaAnalyticsDataClient(credentials=creds)
    # 替换为你的GA4属性ID和查询规则
    request = {
        "property": "properties/你的GA4属性ID",
        "date_ranges": [{"start_date": "yesterday", "end_date": "yesterday"}],
        "dimensions": [{"name": "date"}, {"name": "sessionSource"}],
        "metrics": [{"name": "sessions"}, {"name": "users"}]
    }
    response = ga_client.run_report(request)
    
    # 转换数据格式适配BigQuery
    rows = []
    for row in response.rows:
        row_data = {
            "date": row.dimension_values[0].value,
            "session_source": row.dimension_values[1].value,
            "sessions": int(row.metric_values[0].value),
            "users": int(row.metric_values[1].value)
        }
        rows.append(row_data)
    
    # 写入BigQuery
    bq_client = bigquery.Client(credentials=creds)
    table_ref = bq_client.dataset('你的数据集ID').table('你的表名')
    # 以追加模式写入，若需覆盖可改为WRITE_TRUNCATE
    job = bq_client.load_table_from_json(rows, table_ref, write_disposition="WRITE_APPEND")
    job.result()
    print(f"成功写入{len(rows)}条数据到BigQuery")

• 关键注意事项：
  • 将GA4属性ID、BigQuery表信息等硬编码配置改为通过环境变量获取，避免敏感信息暴露
  • 整理脚本依赖库到requirements.txt文件，示例：

    google-analytics-data==0.14.0
    google-cloud-bigquery==3.11.4
    google-auth==2.23.0
    

三、部署Cloud Functions #

1. 进入GCP控制台的Cloud Functions页面，点击「创建函数」
2. 基础配置：
   • 函数名称：自定义（如ga4-sync-to-bigquery）
   • 触发器：选择「云调度器」（替代原虚拟机定时任务）
   • 运行时：选择Python 3.11或兼容你脚本的版本
3. 代码配置：
   • 上传方式：可选择本地上传包含脚本和requirements.txt的zip包，或直接在控制台编辑代码
   • 入口点：填写函数名ga4_to_bigquery
4. 环境变量配置：
   • 添加SERVICE_ACCOUNT_KEY_PATH变量，值为密钥文件的路径（更安全的方式是使用GCP Secret Manager，基础场景可直接配置）
5. 高级配置：
   • 内存分配：根据脚本需求设置，如256MB
   • 超时时间：如60秒（数据量较大时可延长）
6. 点击「部署」，等待部署完成

四、配置定时触发 #

1. 进入GCP控制台的「云调度器」页面，点击「创建作业」
2. 作业配置：
   • 作业名称：自定义（如daily-ga4-sync）
   • 频率：用Cron表达式设置每日运行，如0 8 * * *（UTC时间8点，对应北京时间16点，可按需调整）
   • 目标：选择「Cloud Functions」，并指定你创建的函数
3. 点击「创建」完成定时配置

五、测试与排查 #

• 部署完成后，在Cloud Functions页面点击「测试函数」，手动触发运行并查看日志排查问题
• 若出现权限报错，检查服务账号的权限是否正确分配
• 若数据写入失败，核对BigQuery表结构与脚本输出的JSON字段是否匹配

内容的提问来源于stack exchange，提问作者Edjotace