Spark写入的HBase表在Phoenix查询无返回行，请求技术支持

我来帮你拆解这个常见的Phoenix与HBase数据不一致问题，大概率是数据格式不兼容或元数据/映射不匹配导致的，咱们一步步排查：

1. 优先排查RowKey格式冲突 #

从你HBase Shell返回的RowKey 55f8477005f6f8.71923246\x00\x00\x00\x00Zd{y 来看，里面包含了多个\x00空字符——这是Phoenix的“雷区”：

• Phoenix默认按UTF-8字符串解析RowKey，空字符会被识别为字符串结束符，导致无法匹配到完整RowKey的数据；
• 另外，Phoenix对RowKey有自己的编码规则（比如默认会做字节序优化），而Spark SHC连接器直接写入的是原始字节格式，二者不兼容。

解决方法：

• 调整Spark生成RowKey的逻辑，避免包含\x00这类特殊控制字符；
• 如果必须保留特殊字符，建Phoenix表时要显式指定RowKey为二进制类型，比如：

  CREATE TABLE IF NOT EXISTS "my_table" (
    "ROWKEY" BYTEARRAY PRIMARY KEY,
    "cf1"."id2" VARCHAR
  );
  

  这样Phoenix会按原始字节读取RowKey，不会做字符串截断处理。

2. 检查表名/列名的大小写问题 #

Phoenix默认会把未加双引号的表名、列名转成大写，而HBase是严格大小写敏感的：

• 你用CREATE TABLE IF NOT EXISTS my_table ...建表，Phoenix实际在HBase中创建的表名是MY_TABLE（大写）；
• 但Spark写入的是小写的my_table，或者列族cf1被Phoenix转成了CF1，导致Phoenix查不到对应的数据。

排查&解决：

• 在HBase Shell执行list，确认实际存在的表名是my_table还是MY_TABLE；
• 重建Phoenix表时用双引号包裹表名和列名，强制保留大小写：

  CREATE TABLE IF NOT EXISTS "my_table" (
    "id2" VARCHAR PRIMARY KEY,
    "cf1"."id2" VARCHAR
  );
  

• 同时调整Spark写入的配置，确保表名、列族/列名和Phoenix完全一致。

3. 强制刷新Phoenix元数据 #

Spark直接写入HBase的数据，Phoenix的元数据可能没有及时同步，导致无法识别新数据：

• 在Phoenix控制台执行!refresh命令，强制刷新元数据缓存；
• 如果还是不行，重启Phoenix Query Server，确保加载最新的HBase表结构。

4. 检查Spark SHC的映射配置 #

确认Spark写入时的列映射是否和Phoenix表结构完全匹配：

• 比如你的SHC配置是否正确指定了RowKey、列族和列的对应关系，示例配置如下：

  Map<String, String> options = new HashMap<>();
  options.put("table", "my_table");
  options.put("rowkey", "id2"); // 要和Phoenix的主键对应
  options.put("columns", "id2:cf1.id2"); // 格式：Spark列名:HBase列族.列名
  

  确保这里的列名、列族大小写和Phoenix表完全一致。

先从RowKey和大小写问题入手，这两个是最常见的触发原因，一般调整后就能解决问题。

内容的提问来源于stack exchange，提问作者LGnord