Sqoop默认使用4个mapper的原因是什么？

Sqoop开发者把默认mapper数定为4，是综合了集群兼容性、数据源压力控制、易用性等多方面的考量，具体原因如下：

• 适配早期Hadoop集群的通用配置：早年Hadoop DataNode的硬件配置普遍不高，4个mapper既能利用集群的并行处理能力提升迁移效率，又不会对单节点的CPU、内存、IO资源造成过度占用，是兼顾性能和稳定性的折中选择。
• 降低对源数据库的冲击：大多数关系型数据库（如MySQL、Oracle）对并发连接的承受能力有限，过高的mapper数会带来大量并发查询，容易引发连接超时、锁竞争甚至数据库性能下降。4个并发连接属于绝大多数数据库的安全阈值，不会对源库造成明显压力。
• 兼顾新手用户的易用性：对于刚接触Sqoop的用户，不需要一开始就钻研调优参数，4个mapper是“开箱即用”的合理值——既不会因并行度过低导致迁移速度过慢，也不会因并行度过高出现各种难以排查的报错，降低了入门门槛。
• 对齐Hadoop生态的默认风格：早期MapReduce作业的并行度配置偏向保守，Sqoop作为Hadoop生态工具，默认值和生态的整体设计思路保持一致，减少用户的认知成本。

实际使用中，你完全可以根据源库性能、集群资源、待迁移数据量，通过--num-mappers参数调整mapper数量：比如数据量极大且集群资源充足时可以调大，源库性能较弱时则调小。

内容的提问来源于stack exchange，提问作者Shubham Shrikhande