Sqoop导入Hive前，如何统计源关系型数据库所有表的记录数？

我来帮你搞定这个问题！你想在Sqoop批量导入Hive前，先摸清源库每张表的记录数，同时尽量减少对源数据库的性能冲击，对吧？下面给你分场景梳理可行的方案，还能解决你之前select count(*)失败的问题。

一、为什么直接用select count(*) from dbname.tbname可能翻车？ #

• 对超大表来说，count(*)会触发全表扫描，吃掉大量IO和CPU资源，甚至导致源库锁表、业务卡顿
• 可能存在权限问题：比如Sqoop使用的数据库账号没有查询目标表的权限，或者无法访问系统元数据
• 部分数据库（比如Oracle）中，count(*)的执行效率严重依赖索引，没有合适索引时速度慢到离谱

二、低压力的行数统计方案 #

1. 利用数据库元数据（近似值，几乎无性能影响） #

大部分关系型数据库都会在系统库中存储表的近似行数，这个方式不用扫表，对源库几乎没压力，足够用来评估导入影响。举几个常用数据库的例子：

• MySQL/MariaDB：查询information_schema.tables
• PostgreSQL：查询pg_class
• SQL Server：查询sys.dm_db_partition_stats

以MySQL为例，用Sqoop执行元数据查询的命令：

sqoop eval \
--connect jdbc:mysql://your-db-host:3306/your-db-name \
--username your-username \
--password your-password \
--query "SELECT table_name, table_rows FROM information_schema.tables WHERE table_schema='your-db-name' AND table_type='BASE TABLE';"

注意：这里的table_rows是近似值，由数据库的ANALYZE TABLE任务更新，适合快速评估表大小，追求绝对精确的话可以跳过这个方案。

2. 精确统计但优化执行效率 #

如果必须要精确行数，可以优化count语句，同时把对源库的冲击降到最低：

• 优先统计主键列（比如count(id)），主键通常有唯一索引，数据库可以直接从索引取数，不用扫全表
• 选在业务低峰期执行统计
• 如果有从库，尽量在从库上执行查询，别去打扰主库

用Sqoop批量统计所有表的精确行数，可以写个简单的bash脚本：

# 先获取源库所有表名
TABLES=$(sqoop list-tables \
--connect jdbc:mysql://your-db-host:3306/your-db-name \
--username your-username \
--password your-password)

# 循环统计每张表
for TABLE in $TABLES; do
  echo "正在统计表 $TABLE 的行数："
  sqoop eval \
  --connect jdbc:mysql://your-db-host:3306/your-db-name \
  --username your-username \
  --password your-password \
  --query "SELECT count(id) FROM $TABLE;"  # 把id替换成你的表主键列名
done

三、进一步降低源库压力的小技巧 #

• 匹配Sqoop导入参数：统计完行数后，根据表大小调整--num-mappers参数（比如小表用1个map，大表用4-8个），避免一次性发起太多连接打垮源库
• 使用只读事务：在查询前设置事务隔离级别，比如MySQL中用SET SESSION TRANSACTION ISOLATION LEVEL READ COMMITTED;，避免锁表阻塞业务
• 分批统计超大表：对千万级以上的大表，可以分段统计（比如count(id) where id between 1 and 1000000），再累加结果，减少单次查询的资源占用

四、排查select count(*)失败的常见原因 #

• 检查权限：确保Sqoop用的数据库账号有查询目标表的权限
• 核对表名：注意大小写（比如PostgreSQL对表名大小写敏感），别写错库名表名
• 查看错误日志：执行Sqoop命令时加--verbose参数，能看到具体报错信息，快速定位问题

内容的提问来源于stack exchange，提问作者Max577