如何通过Python或Terraform将Salesforce Data Cloud数据接入BigQuery？

Python 实现方式 #

• 可以通过Salesforce Data Cloud的API（REST/Bulk API）抽取数据，再借助Google Cloud Python客户端库将数据写入BigQuery，实现全流程自动化。
• 核心步骤：
  1. 通过OAuth2完成Salesforce认证，获取访问令牌后调用API拉取目标数据。
  2. 初始化google-cloud-bigquery客户端，指定目标BigQuery数据集和表。
  3. 将Salesforce返回的数据转换为BigQuery兼容格式（如JSON、DataFrame），批量写入目标表。
• 示例代码片段：

from google.cloud import bigquery
import requests

# Salesforce Data Cloud 数据拉取
sf_access_token = "YOUR_SALESFORCE_ACCESS_TOKEN"
api_endpoint = "https://your-sf-domain.salesforce.com/services/data/v59.0/query/?q=SELECT+Id,Name+FROM+Your_Custom_Object__c"
headers = {"Authorization": f"Bearer {sf_access_token}"}
response = requests.get(api_endpoint, headers=headers)
sf_records = response.json()["records"]

# BigQuery 数据写入
bq_client = bigquery.Client(project="your-gcp-project-id")
target_table = "your-gcp-project-id.your-dataset.your-table"

# 转换数据格式
insert_rows = [{"Id": rec["Id"], "Name": rec["Name"]} for rec in sf_records]
# 写入数据
errors = bq_client.insert_rows_json(target_table, insert_rows)
if not errors:
    print("数据已成功同步至BigQuery")

Terraform 实现方式 #

• Terraform可用于自动化部署数据集成所需的基础资源，若要实现数据同步，通常需要结合Python脚本或GCP数据管道工具（如Cloud Functions、Dataflow）。
• 典型配置场景：
  1. 使用salesforce提供商配置Data Cloud的外部数据连接或导出任务。
  2. 用google提供商创建BigQuery数据集、表及对应的IAM权限。
  3. 配置Cloud Scheduler定期触发Cloud Function，执行Python脚本完成数据同步。
• 示例Terraform配置（创建BigQuery表）：

provider "google" {
  project = "your-gcp-project-id"
  region  = "us-central1"
}

# 创建BigQuery数据集
resource "google_bigquery_dataset" "salesforce_dc" {
  dataset_id = "salesforce_data_cloud_dataset"
  location   = "US"
}

# 创建对应Salesforce对象的BigQuery表
resource "google_bigquery_table" "sf_custom_object" {
  dataset_id = google_bigquery_dataset.salesforce_dc.dataset_id
  table_id   = "custom_object_records"

  schema = <<EOF
[
  {"name": "Id", "type": "STRING", "mode": "REQUIRED"},
  {"name": "Name", "type": "STRING"}
]
EOF
}

如果需要实时或增量同步，还可以结合Salesforce Data Cloud的Streaming API与Google Cloud Pub/Sub，再通过Dataflow将数据导入BigQuery，这些流程同样可以用Python或Terraform完成自动化配置。

内容的提问来源于stack exchange，提问作者Akhil Amit Senroy