如何通过Spark连接HBase表，无需全表扫描获取指定行键数据

一、直接用HBase Java API做批量Get #

这是最直接的纯HBase场景解决方案：

• 把所有目标行键封装成List<Get>集合
• 调用HTable.get(List<Get>)发起批量请求，高并发场景下用异步APIAsyncTable.get(List<Get>)性能更优
• 注意控制单批行键数量，建议1000-5000个为一批，避免请求超时或过度占用RegionServer资源
• 示例代码：

Configuration conf = HBaseConfiguration.create();
try (HTable table = new HTable(conf, "your_table_name")) {
    List<Get> gets = new ArrayList<>();
    for (String rowKey : yourRowKeyList) {
        gets.add(new Get(Bytes.toBytes(rowKey)));
    }
    Result[] results = table.get(gets);
    // 遍历结果处理数据
} catch (IOException e) {
    e.printStackTrace();
}

二、Spark下的分布式批量查询（避免全表加载） #

如果需要用Spark处理，别碰全表扫描逻辑，直接基于行键做分布式查询：

• 将行键列表转为Spark RDD，根据行键数量和集群资源自定义分区数（比如10-100个分区）
• 每个分区内仅创建一次HBase连接，批量发起Get请求，避免频繁建连的开销
• 示例Scala代码：

import org.apache.hadoop.hbase.{HBaseConfiguration, TableName}
import org.apache.hadoop.hbase.client.{Connection, ConnectionFactory, Get}
import org.apache.hadoop.hbase.util.Bytes
import org.apache.spark.SparkContext

val hbaseConf = HBaseConfiguration.create()
val rowKeyRDD = sc.parallelize(yourRowKeyList, numPartitions = 20) // 分区数按需调整

val resultRDD = rowKeyRDD.mapPartitions { rowKeyIter =>
    val conn = ConnectionFactory.createConnection(hbaseConf)
    val table = conn.getTable(TableName.valueOf("your_table_name"))
    val gets = rowKeyIter.map(k => new Get(Bytes.toBytes(k))).toList
    val results = table.get(gets)
    conn.close()
    results.iterator
}

// 对resultRDD执行后续业务处理

三、用HBase Batch工具简化操作 #

如果需要混合执行查询、写入等操作，可使用Table.batch()方法，纯查询场景下和批量Get逻辑差异不大：

• 将Get对象放入List<Row>集合，调用table.batch()即可获取对应结果数组

四、行键规律化的进阶优化 #

如果行键有固定前缀（比如按业务分区、用户ID前缀设计），可按前缀分组批量查询，减少请求次数。但该方案依赖合理的行键预分区设计，否则效果不如直接批量Get稳定。

内容的提问来源于stack exchange，提问作者Surya Appana