Sqoop导入SQL Server数据到Hadoop失败问题排查求助

失败原因分析 #

从报错No manager for connect string: jdbc://localhost/Drugs可以直接定位核心问题：

• 导入命令的JDBC连接串格式错误，缺少SQL Server的协议标识sqlserver:，导致Sqoop无法识别对应的数据库驱动管理器
• 连接串未指定SQL Server的端口（正常列库命令用的是1444），且使用localhost指向VM内部，而非实际SQL Server所在的192.168.56.1地址
• 连接串直接拼接数据库名的写法不符合SQL Server JDBC规范，正确方式是通过databaseName参数指定目标库

修复后的基础导入命令（先确保导入Hive成功） #

修正连接串格式，沿用列库命令的正确地址、端口，补充SQL Server协议标识：

sqoop import \
--connect "jdbc:sqlserver://192.168.56.1:1444;databaseName=Drugs" \
--username Rabab_Hussien31 \
--password 123ttt \
--table drugs \
--hive-import

提示：命令行明文输入密码不安全，建议改用-P参数交互式输入密码

导入到HBase并关联Hive查询的配置 #

如果要直接导入到HBase，再通过Hive映射查询，按以下步骤操作：

1. 导入数据到HBase #

sqoop import \
--connect "jdbc:sqlserver://192.168.56.1:1444;databaseName=Drugs" \
--username Rabab_Hussien31 \
--password 123ttt \
--table drugs \
--hbase-table hbase_drugs \
--column-family cf \
--hbase-row-key 主键字段名 # 替换为drugs表的实际主键列，比如id

2. 在Hive中创建外部表关联HBase #

CREATE EXTERNAL TABLE hive_drugs(
    -- 字段需与drugs表完全对应，示例：
    id INT,
    drug_name STRING,
    price DECIMAL(10,2)
)
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
WITH SERDEPROPERTIES (
    "hbase.columns.mapping" = ":key,cf:drug_name,cf:price"
)
TBLPROPERTIES ("hbase.table.name" = "hbase_drugs");

注意：hbase.columns.mapping要和导入HBase时的列族、字段一一对应，:key对应HBase的RowKey，cf:字段名对应列族下的字段

额外注意事项 #

• 确保Cloudera VM的HBase服务已正常启动（可通过Cloudera Manager查看状态）
• 如果SQL Server版本较新，需将对应版本的JDBC驱动包（如mssql-jdbc.jar）放到/usr/lib/sqoop/lib/目录下，重启Sqoop服务
• 导入大表时，建议添加--split-by参数指定拆分字段，提升并行导入效率

内容的提问来源于stack exchange，提问作者Mohamed Abdelwares1000