无排除选项时，如何用Sqoop从RDBMS导入指定15张表至HDFS

这种情况我之前在项目里也碰到过，当没法用排除选项筛选表的时候，这几个方案都挺实用的，你可以根据自己的场景选：

方法1：Shell脚本循环执行单表导入 #

这是最直接也最常用的方案，把你需要导入的15张表列出来，写个简单的Shell脚本循环执行单个sqoop import命令就行。

示例脚本： #

#!/bin/bash

# 定义需要导入的表列表
TABLES=("table1" "table2" "table3" ... "table15")

# Sqoop基础配置
CONNECT_STRING="jdbc:mysql://your-rdbms-host:3306/your-database"
USERNAME="your-username"
PASSWORD="your-password"
BASE_HDFS_DIR="/user/hadoop/sqoop_imports"

# 循环遍历表列表
for TABLE in "${TABLES[@]}"
do
  echo "开始导入表: $TABLE"
  sqoop import \
    --connect $CONNECT_STRING \
    --username $USERNAME \
    --password $PASSWORD \
    --table $TABLE \
    --target-dir $BASE_HDFS_DIR/$TABLE \
    --delete-target-dir \  # 如果目标目录存在则删除，避免报错
    -m 4  # 根据表大小调整map任务数
done

如果表名太多，也可以把表名存到一个文本文件里（比如tables_to_import.txt，每行一个表名），用while read来遍历：

while read TABLE
do
  # 执行sqoop import命令，同上
done < tables_to_import.txt

方法2：使用--query参数自定义SQL联合导入 #

如果你的15张表结构相似，或者需要一次性导入合并后的数据，可以用Sqoop的--query参数，通过自定义SQL把需要的表数据整合起来。不过这个方案适合数据量不大或者有特殊需求的场景，因为联合查询的并行导入配置会复杂一些。

示例命令： #

sqoop import \
  --connect "jdbc:mysql://your-rdbms-host:3306/your-database" \
  --username your-username \
  --password your-password \
  --query "SELECT * FROM table1 UNION ALL SELECT * FROM table2 UNION ALL ... SELECT * FROM table15 WHERE \$CONDITIONS" \
  --target-dir /user/hadoop/combined_import \
  --split-by id \  # 指定用于拆分数据的字段，确保并行导入正常工作
  -m 4

注意：--query必须包含\$CONDITIONS，这是Sqoop用来做并行数据拆分的占位符，不能省略。

方法3：创建Sqoop Job批量执行 #

如果以后需要重复导入这15张表，或者想复用配置，可以为每个表创建一个Sqoop Job，然后批量执行这些Job。

示例步骤： #

1. 循环创建Job：

TABLES=("table1" "table2" ... "table15")
for TABLE in "${TABLES[@]}"
do
  sqoop job --create import_$TABLE -- import \
    --connect jdbc:mysql://your-rdbms-host:3306/your-database \
    --username your-username \
    --password your-password \
    --table $TABLE \
    --target-dir /user/hadoop/sqoop_imports/$TABLE \
    --delete-target-dir
done

2. 批量执行Job：

for TABLE in "${TABLES[@]}"
do
  sqoop job --exec import_$TABLE
done

额外注意点 #

• 每个表的--target-dir要唯一，不然会出现目录已存在的报错，或者覆盖之前的数据。
• 根据表的大小调整-m（map任务数），大表可以适当增加map数提高速度，小表用1个map就行。
• 如果是增量导入，每个表可能需要单独配置--incremental、--check-column、--last-value这些参数，脚本里也要对应调整。

内容的提问来源于stack exchange，提问作者Aditya Singh Bhadoria