通过快照导入Phoenix/HBase表后索引数据异常求助

集群版本信息 #

源集群 #

• HDP-2.5.3.0
• HBase 1.1.2 (HDP-2.5.3.0-37)
• Phoenix 4.7.0 (HDP-2.5.3.0-37)
• Ubuntu 12.04

目标集群 #

• BigTop(3.1.1) 或原生Apache Hadoop/HBase二进制构建
• HBase 2.4.11
• Phoenix 5.1.2（适配HBase 2.4）
• Ubuntu 20.04

已执行的迁移操作 #

源集群导出数据 #

1. 创建HBase快照：

   snapshot 'PIMEP_MDB2', 'PIMEP_MDB2_20221103'
   

2. 将快照复制到目标集群HDFS：

   hbase org.apache.hadoop.hbase.snapshot.ExportSnapshot -snapshot PIMEP_MDB2_20221103 -copy-to hdfs://172.16.42.155:9000/hbase -mappers 16
   

目标集群导入数据 #

1. 通过Phoenix SQLine.py创建表：

   CREATE TABLE IF NOT EXISTS PIMEP_MDB2 (
       KINDEX FLOAT NOT NULL,
       KLON FLOAT NOT NULL,
       KLAT FLOAT NOT NULL,
       KDATE DATE NOT NULL,
       C.SSS_DEPTH_ARGO FLOAT,
       C.SSS_DEPTH_MAMMAL FLOAT,
       C.SSS_DEPTH_PLATFORM FLOAT,
       C.DIST_TO_COAST_ARGO FLOAT,
       C.DIST_TO_COAST FLOAT,
       C.SSTARGO FLOAT,
       C.SSTMAMMAL FLOAT,
       C.SST_PLATFORM FLOAT,
       C.SSSMAMMAL FLOAT,
       C.SSS_PLATFORM FLOAT,
       C.SSSARGO FLOAT,
       C.TIMELAGS FLOAT,
       C.SPATIALLAGS FLOAT,
       C.DELTASSS FLOAT,
       C.DMRTARGO FLOAT,
       C.CMORPH3H FLOAT,
       C.ASCATWIND FLOAT,
       C.SSSSAT FLOAT,
       C.SSSISAS FLOAT,
       C.SSTDRIFTER FLOAT,
       C.SSSDRIFTER FLOAT,
       C.ASCATWINDARGO FLOAT,
       CONSTRAINT pk PRIMARY KEY (KINDEX,KLON,KLAT,KDATE))
       COLUMN_ENCODED_BYTES = 0;
   

2. 通过HBase shell执行导入：

   disable 'PIMEP_MDB2'
   import_snapshot 'PIMEP_MDB2_20221103'
   enable 'PIMEP_MDB2'
   

问题现象 #

操作完成后查询发现，作为HBase行键组成的KINDEX、KLON、KLAT、KDATE列数据异常，与源集群正常数值不符，疑似行键未被Phoenix正确解析。已确保创建表时遵循源集群列顺序和类型。

排查思路 #

1. 检查操作顺序导致的元数据不匹配 #

当前操作是先通过Phoenix 5.x创建表，再导入源集群快照覆盖HBase表结构。这会导致Phoenix元数据（存储在SYSTEM.CATALOG表）与HBase实际表结构（源集群Phoenix 4.x生成）不兼容，Phoenix依赖自身元数据解析行键，二者不匹配就会出现解析错误。

2. 对比源/目标集群Phoenix表元数据 #

• 在源集群Phoenix执行!describe PIMEP_MDB2，获取表的完整属性（如DATE_AS_LONG等编码参数）、行键列的类型定义。
• 在目标集群Phoenix执行同样命令，对比二者差异，重点关注行键列的类型、编码相关参数。

3. 验证数据类型编码兼容性 #

Phoenix 4.x与5.x对部分数据类型的行键编码存在细微差异，比如DATE类型的存储格式、FLOAT类型的字节序。可以通过以下步骤验证：

• 源集群Phoenix中执行SELECT PK, KINDEX, KLON, KLAT, KDATE FROM PIMEP_MDB2 LIMIT 1;，查看内置行键列PK的字节值。
• 目标集群HBase shell执行scan 'PIMEP_MDB2', LIMIT => 1，查看行键字节值，对比源集群的PK字节。若字节一致，说明HBase数据正常，问题出在Phoenix解析逻辑。

解决方案 #

方案一：调整迁移顺序，先导入快照再创建Phoenix映射表 #

1. 清理目标集群现有表：

   -- Phoenix中删除表元数据
   DROP TABLE IF EXISTS PIMEP_MDB2;
   

   -- HBase shell中删除物理表
   disable 'PIMEP_MDB2'
   drop 'PIMEP_MDB2'
   

2. 重新导入快照到目标集群HBase：

   hbase org.apache.hadoop.hbase.snapshot.ExportSnapshot -snapshot PIMEP_MDB2_20221103 -copy-to hdfs://172.16.42.155:9000/hbase -mappers 16
   import_snapshot 'PIMEP_MDB2_20221103'
   

3. 在Phoenix中创建映射表，严格匹配源集群表结构与属性：
   基于源集群!describe PIMEP_MDB2的输出，添加必要的兼容参数（如DATE_AS_LONG=true，若源集群使用该参数存储DATE类型）：

   CREATE TABLE IF NOT EXISTS PIMEP_MDB2 (
       KINDEX FLOAT NOT NULL,
       KLON FLOAT NOT NULL,
       KLAT FLOAT NOT NULL,
       KDATE DATE NOT NULL,
       C.SSS_DEPTH_ARGO FLOAT,
       -- 其他列保持与源集群一致
       CONSTRAINT pk PRIMARY KEY (KINDEX,KLON,KLAT,KDATE))
       COLUMN_ENCODED_BYTES = 0,
       DATE_AS_LONG = true; -- 源集群Phoenix 4.x常用DATE存储参数
   

方案二：修复现有表的元数据不匹配 #

1. 在目标集群HBase shell执行describe 'PIMEP_MDB2'，确认源集群导入后的表结构细节。
2. 在Phoenix中删除现有表元数据：DROP TABLE IF EXISTS PIMEP_MDB2;
3. 根据HBase实际表结构，重新创建Phoenix映射表，确保列类型、行键顺序、编码参数与源集群完全一致。

方案三：强制指定行键编码兼容参数 #

如果确认是数据类型编码差异导致，可在创建Phoenix表时添加以下兼容参数（根据源集群实际情况选择）：

• DATE_AS_LONG=true：适配Phoenix 4.x的DATE类型存储为long时间戳的逻辑
• FLOAT_AS_DOUBLE=false：确保FLOAT类型使用32位编码（部分版本默认可能用64位）

内容的提问来源于stack exchange，提问作者TristanLT