容器超出虚拟内存限制被终止，Sqoop导入MySQL故障求助

咱们来解决这个容器因虚拟内存超限被终止的问题。结合你的环境配置和执行的Sqoop命令，我整理了可能的原因和对应的解决办法：

可能的故障原因 #

• Hadoop YARN虚拟内存配置限制：你的Hadoop版本是2.7.3，YARN默认会给容器设置虚拟内存阈值（默认是物理内存的2.1倍）。当Sqoop执行导入任务时，Map进程的内存占用（包括JVM堆内存、非堆内存以及系统层面的内存使用）一旦超过这个阈值，就会触发容器终止机制。
• 老旧MySQL驱动的内存问题：你使用的mysql-connector-java-5.1.13版本比较陈旧，这类早期版本可能存在内存泄漏或者内存优化不足的问题，在读取大量数据时，内存占用会持续攀升，容易突破容器的虚拟内存限制。
• Sqoop任务默认内存分配不足：默认情况下，Sqoop给Map任务分配的物理内存和JVM堆内存都比较小，如果你的student表数据量较大，单Map任务在处理数据时，内存占用很容易超标。

对应的解决办法 #

1. 调整Hadoop YARN的虚拟内存配置 #

你可以修改YARN的核心配置文件yarn-site.xml，通过两种方式调整：

• 临时关闭虚拟内存检查（紧急方案）：如果只是临时测试，可以先关闭虚拟内存校验，避免任务被终止：

<property>
  <name>yarn.nodemanager.vmem-check-enabled</name>
  <value>false</value>
</property>

• 提高虚拟内存与物理内存的比例：更推荐的方式是调高虚拟内存相对于物理内存的比例，比如设置为4.0，给任务更多的虚拟内存空间：

<property>
  <name>yarn.nodemanager.vmem-pmem-ratio</name>
  <value>4.0</value>
</property>

修改完成后，记得重启YARN的ResourceManager和NodeManager服务，让配置生效。

2. 升级MySQL Connector版本 #

把你的mysql-connector-java升级到较新的稳定版本，比如5.1.x系列的5.1.49，或者8.0.x系列（注意如果用8.0版本，驱动类名需要改成com.mysql.cj.jdbc.Driver，同时Sqoop命令里的--driver参数也要对应修改）。新版本的驱动修复了旧版本的内存泄漏问题，能有效降低内存占用。

3. 给Sqoop任务分配更多内存 #

在执行Sqoop命令时，手动指定Map容器的物理内存和JVM堆内存参数，比如：

bin/sqoop import -connect jdbc:mysql://localhost:3306/testDb -username root -password root --table student --target-dir /user/hadoop/student -m 1 --driver com.mysql.jdbc.Driver \
  --mapreduce-map-memory-mb 2048 \
  --mapreduce-java-opts "-Xmx1536m"

这里--mapreduce-map-memory-mb设置Map容器的物理内存为2048MB，--mapreduce-java-opts设置JVM堆内存为1536MB（一般建议是物理内存的70%-80%），给任务足够的内存空间来处理数据。

4. 优化任务并行度（针对大数据量场景） #

如果student表的数据量很大，即使单Map任务也会占用过多内存，可以适当提高任务的并行度，比如把-m 1改成-m 4，让多个Map任务分摊数据处理压力，每个任务处理的数据量减少，内存占用也会相应降低。不过要注意MySQL的并发连接限制，避免因连接数过多导致数据库侧出现问题。

内容的提问来源于stack exchange，提问作者ruchika doifode