如何通过Cloud Data Fusion将MySQL多表关联查询数据导入BigQuery？

完全可以通过Cloud Data Fusion实现先执行MySQL多表关联查询，再将结果导入BigQuery的需求，具体操作步骤如下：

1. 提前准备数据源连接 #

确保你已经在Cloud Data Fusion控制台中配置好：

• MySQL数据源连接（包含主机、端口、用户名、密码、数据库名等信息）
• BigQuery数据源连接（关联对应的GCP项目、数据集权限）

2. 创建新的Data Pipeline #

进入Cloud Data Fusion控制台，点击Create Pipeline，选择空白Pipeline开始搭建。

3. 配置MySQL数据源（执行自定义关联查询） #

• 从左侧插件库中拖拽MySQL插件到画布上
• 双击插件打开配置面板：
  • 选择已配置好的MySQL连接
  • 在Table Name输入框中，不要选择具体表，而是直接输入你的多表关联SQL，注意需要用括号包裹并指定别名，示例：

    (SELECT 
        a.order_id,
        a.customer_id,
        b.customer_name,
        c.product_name,
        a.order_amount
     FROM orders a
     JOIN customers b ON a.customer_id = b.id
     JOIN products c ON a.product_id = c.id
     WHERE a.order_date >= '2024-01-01') AS query_result
    

  • 根据需求调整其他参数（如批量读取大小、查询超时时间），完成后点击Save

4. 配置BigQuery目标表 #

• 拖拽BigQuery插件到画布，将MySQL插件的输出端口与BigQuery插件的输入端口连接
• 双击BigQuery插件打开配置面板：
  • 选择已配置好的BigQuery连接
  • 输入目标表的完整名称（格式：项目ID.数据集ID.表名），如果表不存在，Cloud Data Fusion会自动根据查询结果的结构创建表
  • 选择写入模式：根据需求选Append（追加数据）或Overwrite（覆盖原有数据）
  • 完成配置后点击Save

5. 测试并运行Pipeline #

• 点击画布上方的Preview按钮，验证MySQL查询返回的结果结构和数据是否符合预期
• 测试通过后，点击Deploy部署Pipeline，部署完成后可以手动点击Run触发执行，也可以配置定时调度实现周期性同步

注意事项 #

• 确保MySQL数据库的用户账号拥有关联查询中所有涉及表的SELECT权限
• 如果查询结果集较大，建议调整MySQL插件的Batch Size参数，避免内存占用过高
• 提前核对查询结果的字段类型与BigQuery目标表的字段类型是否匹配，避免出现类型转换错误

内容的提问来源于stack exchange，提问作者Saranya