如何将Cloud SQL（MySQL实例）数据导入Cloud Dataproc中的Hive？

一、Sqoop 任务示例语句 #

在Dataproc集群上运行Sqoop前，需确保集群已配置Cloud SQL访问权限（如VPC peering、授权网络），以下是两种常见场景的示例命令：

1. 直接通过私有IP连接导入 #

sqoop import \
  --connect jdbc:mysql://<CLOUD_SQL_PRIVATE_IP>:3306/<TARGET_DB> \
  --username <MYSQL_USER> \
  --password <MYSQL_PASSWORD> \
  --table <SOURCE_TABLE> \
  --hive-import \
  --hive-table <HIVE_DEST_TABLE> \
  --create-hive-table \
  --fields-terminated-by ',' \
  --lines-terminated-by '\n' \
  --num-mappers 4

参数说明：

• --hive-import：明确指定将数据导入Hive
• --create-hive-table：目标Hive表不存在时自动创建
• --num-mappers：控制并行导入的任务数，可根据表大小调整

2. 通过Cloud SQL Connector连接导入 #

无需暴露Cloud SQL公网IP，需提前将Cloud SQL Connector的JAR包放入Sqoop的lib目录（如/usr/lib/sqoop/lib/）：

sqoop import \
  --connect jdbc:mysql:///<TARGET_DB>?cloudSqlInstance=<PROJECT_ID>:<REGION>:<INSTANCE_NAME>&socketFactory=com.google.cloud.sql.mysql.SocketFactory&user=<MYSQL_USER>&password=<MYSQL_PASSWORD> \
  --table <SOURCE_TABLE> \
  --hive-import \
  --hive-table <HIVE_DEST_TABLE> \
  --num-mappers 4

二、Cloud SQL Connector导出CSV到GCS再导入Hive是否为最佳实践？ #

该方案是GCP环境下的可靠常用实践，优势包括：

• 中间数据存储在GCS，具备高可用性和可复用性，方便后续多场景处理
• 导出与导入步骤解耦，便于单独排查每个环节的问题
• 支持并行导出大表，通过GCS的分布式存储提升处理效率

但需结合场景选择：

• 小表、实时性要求低的场景，直接用Sqoop更简洁高效
• 大表、需要对数据做预处理（如格式转换、过滤）的场景，先导出到GCS再导入Hive更灵活

三、其他可行方案 #

1. Cloud Dataflow 批量/流式导入 #

编写Dataflow管道，直接从Cloud SQL读取数据并写入Hive（或HDFS），适合复杂ETL场景，支持自动扩缩容，适配批量或流式数据同步需求。

2. Hive JDBC外部表 #

在Hive中创建外部表，通过JDBC直接关联Cloud SQL的源表，查询时实时拉取数据，无需持久化数据到HDFS，适合临时查询或实时分析场景：

CREATE EXTERNAL TABLE hive_external_table (
  id INT,
  username STRING,
  create_time TIMESTAMP
)
STORED BY 'org.apache.hive.storage.jdbc.JdbcStorageHandler'
TBLPROPERTIES (
  "hive.sql.database.type" = "MYSQL",
  "hive.sql.jdbc.driver" = "com.mysql.cj.jdbc.Driver",
  "hive.sql.jdbc.url" = "jdbc:mysql://<CLOUD_SQL_IP>:3306/<TARGET_DB>",
  "hive.sql.jdbc.username" = "<MYSQL_USER>",
  "hive.sql.jdbc.password" = "<MYSQL_PASSWORD>",
  "hive.sql.table" = "<SOURCE_TABLE>"
);

注意需在Hive节点安装MySQL JDBC驱动和Hive JDBC存储Handler包。

3. 利用Cloud SQL自动备份导入 #

若Cloud SQL已开启自动备份并存储到GCS（CSV格式），可直接通过Hive的LOAD命令将备份文件导入目标表，适合定期同步的场景：

LOAD DATA INPATH 'gs://<BACKUP_BUCKET>/<BACKUP_FILE_PATH>' INTO TABLE <HIVE_DEST_TABLE>;

内容的提问来源于stack exchange，提问作者Surya Vamsi