无需使用AppFlow，如何将Google Analytics数据导入S3存储桶

核心思路 #

直接调用Google Analytics官方API拉取数据，再通过AWS SDK将数据上传到目标S3存储桶，全程用代码控制，无需依赖AppFlow。

步骤1：准备API权限 #

• 到Google Cloud Console创建项目，启用对应API（GA4用Google Analytics Data API v1，UA用Analytics Reporting API v4）
• 创建服务账号，下载JSON格式的密钥文件
• 在Google Analytics后台，把服务账号邮箱添加为GA媒体资源的查看者/编辑者权限，确保能正常拉取数据

步骤2：拉取Google Analytics数据（Python示例） #

以GA4 Data API为例，使用google-analytics-data库：

from google.analytics.data_v1beta import BetaAnalyticsDataClient
from google.analytics.data_v1beta.types import RunReportRequest
import json

# 初始化客户端
client = BetaAnalyticsDataClient.from_service_account_json("your-service-account-key.json")

# 构建查询请求
request = RunReportRequest(
    property="properties/your-ga4-property-id",
    date_ranges=[{"start_date": "7daysAgo", "end_date": "today"}],
    dimensions=[{"name": "city"}, {"name": "sessionSource"}],
    metrics=[{"name": "activeUsers"}, {"name": "sessions"}],
)

# 执行查询并格式化结果
response = client.run_report(request)
data_rows = []
for row in response.rows:
    data_rows.append({
        "city": row.dimension_values[0].value,
        "session_source": row.dimension_values[1].value,
        "active_users": row.metric_values[0].value,
        "sessions": row.metric_values[1].value
    })
output_data = json.dumps(data_rows, indent=2)

UA（Universal Analytics）可使用google-api-python-client库，逻辑类似，仅API调用参数有差异。

步骤3：上传数据到S3（Python示例） #

使用AWS SDK for Python（boto3）：

import boto3
from botocore.exceptions import ClientError

# 初始化S3客户端（确保本地配置AWS凭证，或通过IAM角色赋予权限）
s3 = boto3.client('s3')

# 定义存储桶和目标文件名
bucket_name = "your-s3-bucket-name"
file_name = "ga_data/ga4_report_20240520.json"

try:
    # 上传格式化后的数据到S3
    s3.put_object(
        Bucket=bucket_name,
        Key=file_name,
        Body=output_data,
        ContentType='application/json'
    )
    print(f"数据已成功上传至：s3://{bucket_name}/{file_name}")
except ClientError as e:
    print(f"上传失败：{e}")

进阶优化建议 #

• 定时执行：用AWS Lambda+CloudWatch Events，或本地 cron 任务，实现每日/定期自动拉取上传
• 格式转换：支持CSV、Parquet等格式（可借助pandas转换），Parquet更适合大数据分析场景
• 容错处理：添加重试机制、日志记录，规避API限流或网络波动导致的失败
• 权限安全：AWS端使用IAM角色而非硬编码凭证，Google服务账号密钥可存储在AWS Secrets Manager中妥善管理

内容的提问来源于stack exchange，提问作者Shu Rahman