Spark写入HBase后Apache Phoenix count超10万行但SELECT无数据

DevOps 小满

2026-9-24

根因分析

该问题的核心本质是Phoenix查询时需要按照预设规则解析HBase的KV数据，解析失败的行不会出现在结果集中，但count(*)默认走的是HBase层的KV统计逻辑，不需要解析内容，所以会返回正确数值，常见的触发原因有5类：

ROWKEY编码不匹配：Phoenix对所有主键字段会做符合排序规则的序列化编码，比如数字类型会翻转符号位保证有序、字符串类型会补充排序标记，如果你用Spark bulkPut写入时直接写原始字节，没有遵循Phoenix的编码规则，Phoenix读取时无法解析ROWKEY就会丢弃该行。
列簇/列名大小写不匹配：Phoenix默认会把所有未加双引号的表名、列簇、列名转为大写，如果你写入HBase时用的是小写标识符，而Phoenix建表时没有加双引号保留小写，查询时会找不到对应列，直接丢弃该行。
列编码不兼容：Phoenix 4.10+版本默认开启列编码（COLUMN_ENCODED_BYTES=1），会把列名映射为数字ID减少存储占用，直接写入HBase的KV没有对应的编码标记，Phoenix无法解析列内容就会丢弃行。
事务可见性问题：如果Phoenix建表时开启了事务特性（部分版本默认开启），直接写入HBase的KV没有携带Phoenix的事务标签，普通查询会过滤掉无事务标记的数据，而count(*)的统计逻辑会跳过事务校验。
时间戳/TTL不匹配：如果写入HBase时指定的单元格时间戳超出了Phoenix表的TTL范围，或者不在Phoenix默认查询的时间窗口内，普通查询会过滤掉对应行，而count(*)会统计全量KV。

get '你的HBase表名', '已知存在的某条ROWKEY字符串'

确认该数据存在后，在Phoenix shell执行：

SELECT * FROM 你的Phoenix表名 WHERE ROWKEY = CAST('上述ROWKEY字符串' AS BINARY);

如果该语句能返回数据，即可确认是编码问题。解决方法：Spark写入ROWKEY时调用Phoenix官方的org.apache.phoenix.schema.types.PhoenixDataType对应类型的序列化方法编码ROWKEY，不要直接写入原始字节。

scan '你的HBase表名', {LIMIT => 1}

查看返回结果中的列簇、列名的实际大小写，再对比Phoenix建表语句。如果HBase中用的是小写标识符，需要重建Phoenix表，给所有小写标识符加双引号保留大小写，同时关闭列编码，示例建表语句：

CREATE TABLE "my_hbase_table" (
    ROWKEY VARCHAR PRIMARY KEY,
    "cf1"."name" VARCHAR,
    "cf1"."age" INT
) COLUMN_ENCODED_BYTES = 0;

检查Phoenix表事务配置
在Phoenix shell执行!describe 你的表名查看表参数，如果TRANSACTIONAL = true，可以重建表关闭事务：

CREATE TABLE 表名 (...) TRANSACTIONAL=false;

如果必须保留事务特性，需要调整Spark写入逻辑，按照Phoenix事务规范写入事务相关的系统列。

scan '你的表名', {LIMIT => 1, VERSIONS => 5}

对比Phoenix表的CELL_TTL配置，如果是时间戳超出有效范围，需要调整Spark写入时的时间戳参数，或者调整Phoenix查询的时间范围参数phoenix.query.timestamp。

内容的提问来源于stack exchange，提问作者Mohamed Ennahdi El Idrissi