如何高效将Big Query数据迁移至Azure SQL？解决内存溢出问题

一、使用云原生迁移工具（无需自定义代码） #

这类工具自带海量数据处理能力，无需手动处理内存问题：

• Azure Data Factory (ADF)：直接配置BigQuery作为数据源、Azure SQL作为目标，支持批量/增量迁移。可设置并行度、数据块大小，自动分批拉取和写入数据，内置重试、错误处理机制，完全规避内存溢出风险。
• Google Cloud Dataflow：构建批处理或流式数据管道，将BigQuery数据分片读取后写入Azure SQL。Dataflow自动管理计算资源，按批次处理数据，不会一次性加载全量数据到内存。

二、优化自定义Java代码方案 #

如果必须用Java代码迁移，核心是避免一次性加载全量数据，以下是关键优化点：

1. 分批读取BigQuery数据 #

利用BigQuery的分页机制，限制每次读取的数据量，循环处理每一页：

BigQuery bigQuery = BigQueryOptions.getDefaultInstance().getService();
QueryJobConfiguration queryConfig = QueryJobConfiguration.newBuilder("SELECT col1, col2 FROM your_bq_table")
    .setPageSize(1000) // 按需调整每页行数，比如1000-5000
    .build();

Job job = bigQuery.create(JobInfo.of(queryConfig));
job = job.waitFor();
if (job == null || job.getStatus().getError() != null) {
    throw new RuntimeException("BigQuery query failed: " + job.getStatus().getError());
}

QueryResponse response = job.getQueryResults();
Iterator<FieldValueList> rowIterator = response.iterateAll();

2. 批量写入Azure SQL #

攒够一批数据再执行批量插入，减少数据库交互次数，同时控制内存中待写入数据量：

String insertSql = "INSERT INTO your_azure_table (col1, col2) VALUES (?, ?)";
PreparedStatement pstmt = azureSqlConnection.prepareStatement(insertSql);

int batchSize = 1000;
int currentBatchCount = 0;

while (rowIterator.hasNext()) {
    FieldValueList row = rowIterator.next();
    pstmt.setString(1, row.get("col1").getStringValue());
    pstmt.setString(2, row.get("col2").getStringValue());
    pstmt.addBatch();
    currentBatchCount++;

    if (currentBatchCount >= batchSize) {
        pstmt.executeBatch();
        pstmt.clearBatch();
        currentBatchCount = 0;
    }
}

// 处理剩余未提交的批量数据
if (currentBatchCount > 0) {
    pstmt.executeBatch();
}

3. 其他代码层面优化 #

• 调整JVM堆内存参数：比如启动时设置-Xmx8g（根据服务器可用内存调整），但这只是辅助手段，核心还是分批处理。
• 避免不必要的数据存储：不要将读取的BigQuery数据存入集合缓存，处理完一页就立即写入目标库，减少内存占用。
• 使用轻量级数据结构：避免用复杂对象封装数据，直接用原生类型或简单POJO，降低内存开销。

三、额外优化建议 #

• 增量迁移：如果不是首次全量同步，基于时间戳、自增ID或BigQuery CDC（变更数据捕获）只同步新增/更新数据，大幅减少每次处理的数据量。
• 目标表优化：迁移前禁用Azure SQL目标表的索引和约束，迁移完成后再重建，能显著提升写入速度。
• 数据过滤：迁移前只选择需要的字段，过滤掉无关数据，减少传输和处理的数据量。

内容的提问来源于stack exchange，提问作者krishna