Sqoop自由格式查询导入的Mapper数量配置及执行疑问

一、自由格式查询场景下的Mapper数量控制 #

当你用--query做自由格式查询导入时，Mapper数量的配置得注意这些细节：

• 默认与自定义数量：Sqoop默认会启动4个Mapper并行处理数据，要是你想调整，直接加--num-mappers <N>参数就行，比如--num-mappers 2就能把Mapper数改成2。
• --split-by的必要性：自由查询没有明确的主键列，Sqoop得靠一个列来分割数据范围，让不同Mapper处理不同区间的内容，你指定--split-by category_name是完全正确的操作。不过要留意，如果category_name的不同值（基数）很少，可能会出现数据分布不均的情况——比如某个Mapper扛了大部分数据，其他Mapper没事干。这种情况如果有更合适的列（比如数值型主键列），可以换成那个列做--split-by；要是没有，就把Mapper数量调整到和列的基数匹配的数值。
• $CONDITIONS的关键作用：你在查询里加的AND $CONDITIONS绝对不能少！Sqoop会自动把这个占位符替换成每个Mapper对应的分片条件（比如WHERE category_name BETWEEN 'A' AND 'M'），保证每个Mapper只处理自己负责的数据区间。

二、解决命令输出截断的问题 #

你说执行命令后输出显示成[cloudera@quic...被截断，这基本是终端输出长度或缓冲区限制导致的，给你几个实用解决办法：

• 重定向输出到文件：把命令的所有输出（包括标准输出和错误信息）写到日志文件里，方便后续完整查看：

  sqoop import --connect jdbc:mysql://localhost:3306/retail_db --username root --password cloudera --query 'select category_name,count(*) from categories group by category_name having count(*)>1 AND $CONDITIONS' --target-dir /user/cloudera/talli --split-by category_name >> sqoop_import.log 2>&1
  

  之后直接打开sqoop_import.log就能看到完整内容了。
• 用分页工具查看实时输出：要是不想写文件，用less命令分页看输出也很方便：

  sqoop import --connect jdbc:mysql://localhost:3306/retail_db --username root --password cloudera --query 'select category_name,count(*) from categories group by category_name having count(*)>1 AND $CONDITIONS' --target-dir /user/cloudera/talli --split-by category_name | less
  

  按空格键翻页，按q就能退出查看。
• 调整终端缓冲区设置：如果你用的是Cloudera自带的终端，可以在终端设置里增大滚动缓冲区的行数，这样就能显示更多历史输出内容。

另外帮你检查了下导入命令，语法完全没问题，$CONDITIONS的位置也正确（必须放在WHERE或HAVING之后的条件里），要是后续导入出问题，直接从完整日志里找具体错误信息就行。

内容的提问来源于stack exchange，提问作者swarnim taly