开启allowPartialResults仍触发RowTooBigException，原因何在？

报错详情 #

Caused by: org.apache.hadoop.hbase.ipc.RemoteWithExtrasException:
org.apache.hadoop.hbase.regionserver.RowTooBigException: 允许的最大行大小：1073741824，但该行超出了此限制，行信息：REDACTED，已处理的行单元格数=1756863，所属region=REDACTED

当前Scanner关键配置 #

scanner.setCaching(50); // 也试过设为1，问题依旧
scanner.setAllowPartialResults(true);
scanner.setMaxResultSize(20 * 1024 * 1024);

同时配置了KeyOnlyFilter，Cell大小限制为默认10MB。

为何开启allowPartialResults仍触发报错？ #

allowPartialResults的作用是当扫描结果超出setMaxResultSize限制时，返回部分结果而非直接抛出异常，但它的生效有个前提：RegionServer必须能成功读取到该行的部分数据。

而RowTooBigException是在RegionServer处理行的更早阶段触发的：HBase会先计算当前行的总大小（所有Cell的原始大小之和——即使配置了KeyOnlyFilter，RegionServer在遍历Cell时仍会统计原始大小，因为过滤操作是在读取Cell之后执行的），如果这个总大小超过了hbase.regionserver.max.row.size（默认1GB）的阈值，会直接抛出异常，根本不会进入到返回部分结果的逻辑。

另外，setCaching控制的是每次RPC请求返回的行数，和单一行内的Cell数量无关，所以将其设为1也无法解决大Row的问题。

可行解决方案 #

• 调整RegionServer最大行大小限制
  修改hbase-site.xml中的hbase.regionserver.max.row.size参数，增大阈值（例如设为2GB）。注意：过大的Row会占用大量内存，可能影响RegionServer稳定性，需结合集群资源情况评估调整。

• 用setBatch拆分单Row的Cell返回
  在Scanner中添加scanner.setBatch(1000);（数值可根据业务场景调整），该参数控制每行返回的Cell数量。设置后，RegionServer会分批返回同一Row的Cell，每次仅处理指定数量的Cell，不会一次性计算整行总大小，从而规避RowTooBigException。

• 优化RowKey设计拆分大Row
  从根源解决问题：单Row下存在近200万个Cell，说明RowKey设计可能不合理。可考虑将大Row拆分为多个小Row，例如在原RowKey后添加哈希分桶、时间分片等后缀，将Cell分散到不同Row中，从根本上避免大Row问题。

内容的提问来源于stack exchange，提问作者Fogo