Spark负载不均衡问题：程序耗时难低于11分钟且ZK会话关闭延迟

从你的描述和日志来看，这个11分钟的瓶颈大概率和HBase的Region分区策略以及ZK会话的资源释放逻辑有关，咱们一步步拆解：

核心问题定位 #

你提到“程序的运行速度与耗时最长的任务一致”，再结合ZK会话从建立到关闭刚好是11分钟（17:26到17:38），说明：

1. Spark处理HBase的并行度根本没上去，任务数被HBase的Region数量限制了——就算加再多Executor，也只能处理对应数量的任务，总耗时直接由单个Region的处理时间决定；
2. 任务结束后，HBase客户端没有及时释放ZK会话，导致会话一直保持到超时，这部分等待时间刚好凑成了11分钟的总耗时。

具体解决方案 #

1. 检查并优化HBase表的Region数量 #

Spark读取HBase生成的RDD，分区数是和HBase表的Region数量一一对应的。如果你的HBase表只有1个或者少数几个Region，那Spark最多只能启动对应数量的任务并行处理，加再多资源也没用。

• 先查看你的HBase表Region数量：

  hbase shell> describe 'your_table_name'
  

• 如果Region数量太少，手动给表做预分区：根据RowKey的分布范围拆分出多个Region，建议Region数量设置为Spark Executor总核心数的2-3倍，这样能最大化并行处理能力。

2. 调整Spark并行度配置 #

确保Spark的并行度参数和HBase的Region数量匹配：

jsc.conf().set("spark.default.parallelism", "your_region_count");
jsc.conf().set("spark.sql.shuffle.partitions", "your_region_count"); // 如果用到Spark SQL

这里的your_region_count就是你HBase表的Region数量，让Spark能充分利用所有分区的并行能力。

3. 优化count()操作的执行逻辑 #

count()操作需要等待所有分区计算完成才能返回结果，很容易被慢分区拖后腿。你可以试试：

• 用HBase原生的count命令统计行数，它是分布式统计，对HBase的适配性更好：

  hbase shell> count 'your_table_name', INTERVAL => 100000
  

• 如果一定要用Spark统计，可以先在分区内统计再汇总，减少数据传输：

  long count = hBaseRDD.mapPartitions(it -> {
      long cnt = 0;
      while (it.hasNext()) {
          it.next();
          cnt++;
      }
      return Collections.singletonList(cnt).iterator();
  }).reduce((a, b) -> a + b);
  

4. 确保HBase资源及时释放 #

任务结束后手动释放HBase RDD的资源，避免ZK会话一直被占用：

// 统计完成后释放资源
hBaseRDD.unpersist(true);
jsc.stop();

同时可以调整HBase客户端的ZK会话超时时间（不要设置太小，避免任务中途断开）：

conf.set("hbase.zookeeper.session.timeout", "30000"); // 30秒，根据实际任务时长调整

附你的代码与日志 #

你的Spark代码 #

// Get Hbase RDD
JavaPairRDD<ImmutableBytesWritable, Result> hBaseRDD = jsc.newAPIHadoopRDD( conf, TableInputFormat.class, ImmutableBytesWritable.class, Result.class );
long count = hBaseRDD.count();

ZK相关日志 #

18/05/19 17:26:55 INFO zookeeper.ClientCnxn: Session establishment complete on server :2181, sessionid = 0x163662b64eb046d, negotiated timeout = 40000
18/05/19 17:38:00 INFO zookeeper.ZooKeeper: Session: 0x163662b64eb046d closed

内容的提问来源于stack exchange，提问作者Alchemist