HiveQL导入文档数据时CPF/CNPJ字段首尾零被截断如何解决

问题根本原因 #

你遇到的截断问题核心是建表时证件号字段使用了数值类型（INT、BIGINT、DOUBLE等），数值类型本身不会保留无意义的首尾零，写入时会自动做规范化处理，不仅会丢失零，也会导致LENGTH函数统计长度错误。

解决步骤 #

1. 建表指定正确字段类型 #

存储证件号这类需要保留完整格式的编码类数据，必须使用字符串类型，建表时直接将对应字段设置为STRING即可，完全支持同一列同时存储11位CPF和14位CNPJ。
示例建表语句：

CREATE TABLE business_cert (
  cert_type STRING COMMENT '证件类型：CPF/CNPJ',
  cert_code STRING COMMENT '证件号码，保留完整首尾零'
) COMMENT '业务证件表'
ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe'
WITH SERDEPROPERTIES (
  "field.delim" = ",",
  "serialization.encoding" = "UTF-8"
) STORED AS TEXTFILE;

2. 导入过程避免隐式类型转换 #

导入数据时禁止让Hive自动推断字段类型，需显式指定证件号字段以字符串格式读取：

• 若从CSV文件导入，需关闭CSV serde的自动类型推断配置，避免将全数字的证件号识别为数值类型
• 若从其他数据源同步（如MySQL、Spark DataFrame），需确保源端读取证件号为字符串格式，写入Hive时直接对应STRING字段，不要做任何数值类型转换

3. 存量已丢失零的数据修复 #

如果历史数据已经用数值类型存储导致零丢失，可按规则修复：

• 首零丢失场景：根据证件类型用LPAD函数补零到指定长度
  • CPF补零：LPAD(CAST(cert_code AS STRING), 11, '0')
  • CNPJ补零：LPAD(CAST(cert_code AS STRING), 14, '0')
• 尾零丢失场景：一般是用DOUBLE等浮点类型存储导致的精度丢失，无法通过规则安全修复，必须回溯原始数据源重新以字符串格式导入

校验方式 #

写入完成后可直接用LENGTH(cert_code)统计字段长度，返回11即为CPF，返回14即为CNPJ，结果完全准确。

内容的提问来源于stack exchange，提问作者Felipe