我来分享几个实战过的BigQuery到BigQuery的ETL迁移方案，你可以根据数据规模、转换需求和自动化程度来选：

如果你的迁移需要做简单的数据过滤、字段重命名或格式转换，这个方案最直接，完全用BigQuery原生SQL就能搞定，适合10TB以下的数据集。

操作步骤： #

1. 源库导出到GCS：用EXPORT DATA语句把需要迁移的数据导出到Google Cloud Storage（GCS），推荐用Parquet格式（压缩率高、读写快）

EXPORT DATA
  OPTIONS(
    uri='gs://your-migration-bucket/data-*.parquet',
    format='PARQUET',
    compression='SNAPPY',
    overwrite=true
  ) AS
SELECT 
  user_id,
  DATE(created_at) AS create_date, -- 字段转换示例
  amount
FROM `source-project.source-dataset.order_table`
WHERE created_at >= '2024-01-01'; -- 按需过滤数据

2. 目标库从GCS加载：用LOAD DATA把GCS的数据导入目标库，同时保留分区、聚类等性能属性

LOAD DATA INTO `target-project.target-dataset.order_table`
FROM FILES(
  format='PARQUET',
  uris=['gs://your-migration-bucket/data-*.parquet']
)
OPTIONS(
  write_disposition='WRITE_TRUNCATE', -- 全量迁移用这个，增量用WRITE_APPEND
  partition_field='create_date', -- 保留分区属性
  clustering_fields=['user_id'] -- 保留聚类属性
);

优缺点： #

• ✅ 灵活支持数据转换，无需额外工具
• ✅ 成本低，GCS存储和BigQuery读写费用可控
• ❌ 手动执行或简单脚本调度，不适合长期增量同步

如果需要长期自动同步源库的数据（比如每天同步新增订单），这个托管式服务是首选，完全不用写代码，控制台点几下就能配置。

操作步骤： #

1. 进入目标项目的BigQuery控制台，左侧菜单找到「数据传输」
2. 点击「创建传输」，选择「BigQuery」作为源类型
3. 配置源项目ID、源数据集，选择需要同步的表（支持全数据集同步）
4. 设置同步频率（比如每天凌晨2点），如果源表是时间分区表，可开启增量同步（只同步新增分区）
5. 配置通知邮箱，同步失败会自动告警

优缺点： #

• ✅ 完全托管，无需维护脚本或服务器
• ✅ 支持全量/增量自动同步，容错性高
• ❌ 自定义转换能力弱，只能同步原始数据
• ❌ 仅支持同区域或跨区域（需额外跨区域传输费）

如果你的迁移涉及复杂逻辑（比如嵌套字段拆平、多表关联、数据清洗、和其他数据源合并），或者数据量超过50TB，Dataflow是最优解——它是基于Apache Beam的分布式处理框架，能线性扩展处理大规模数据。

操作思路： #

• 可以直接用Google提供的现成模板（比如「BigQuery to BigQuery」），无需从零写代码，只要配置源表、目标表和转换参数
• 如果需要自定义逻辑，用Python/Java写Beam脚本，比如：

  import apache_beam as beam
  from apache_beam.options.pipeline_options import PipelineOptions
  
  def clean_data(row):
      # 自定义数据清洗逻辑：过滤无效金额，格式化日期
      if row['amount'] <= 0:
          return None
      row['create_date'] = row['created_at'].strftime('%Y-%m-%d')
      return row
  
  options = PipelineOptions(
      project='target-project',
      runner='DataflowRunner',
      region='us-central1'
  )
  
  with beam.Pipeline(options=options) as p:
      (p
       | 'Read from BigQuery' >> beam.io.ReadFromBigQuery(query='SELECT * FROM `source-project.source-dataset.order_table`')
       | 'Clean Data' >> beam.Map(clean_data)
       | 'Filter None' >> beam.Filter(lambda x: x is not None)
       | 'Write to BigQuery' >> beam.io.WriteToBigQuery(
           table='target-project.target-dataset.order_table',
           write_disposition=beam.io.BigQueryDisposition.WRITE_TRUNCATE,
           create_disposition=beam.io.BigQueryDisposition.CREATE_IF_NEEDED
       )
      )
  

优缺点： #

• ✅ 支持复杂转换逻辑，可扩展到PB级数据
• ✅ 完全自动化，支持调度和监控
• ❌ 需要一定的Apache Beam开发经验
• ❌ 成本相对较高（按计算资源计费）

如果需要批量迁移整个数据集，或者整合到Shell脚本里自动化执行，用bq命令行工具最方便。

常用命令示例： #

# 同区域直接复制表（最快，无需经过GCS）
bq cp --project_id=target-project `source-project:source-dataset.order_table` `target-project:target-dataset.order_table`

# 跨区域迁移：先导出到GCS
bq extract --destination_format=PARQUET --compression=SNAPPY `source-project:source-dataset.order_table` gs://your-migration-bucket/order-*.parquet

# 再导入到目标库
bq load --source_format=PARQUET --write_disposition=WRITE_TRUNCATE `target-project:target-dataset.order_table` gs://your-migration-bucket/order-*.parquet

# 批量复制整个数据集（需要写循环脚本）
for table in $(bq ls --format=csv source-project:source-dataset | tail -n +2 | cut -d',' -f1); do
  bq cp source-project:source-dataset.$table target-project:target-dataset.$table
done

优缺点： #

• ✅ 适合批量操作，容易整合到自动化脚本
• ✅ 命令简洁，学习成本低
• ❌ 自定义转换能力弱，主要用于全量复制

通用注意事项 #

• 数据校验：迁移前后一定要对比COUNT(*)、关键字段的聚合值（比如SUM(amount)），避免丢数据
• 成本优化：优先用Parquet格式，跨区域迁移尽量用同区域GCS bucket，减少跨区域传输费
• 元数据保留：迁移分区表、聚类表时，务必保留对应的属性，否则目标表性能会下降
• 权限配置：确保执行迁移的服务账号有源数据集的bigquery.tables.getData权限，以及目标数据集的bigquery.tables.create和bigquery.tables.updateData权限

内容的提问来源于stack exchange，提问作者eric chen