Spark 2.3.1如何获取Impala表varchar类型字段的定义长度

问题场景 #

需要在Spark 2.3.1中获取Impala表dev_dm_rco.f102中varchar字段的原始定义长度，该表原生建表语句中bank_code、tu_cd等字段均为带长度的varchar类型，两次常规尝试均失败：

• 第一次通过Spark API读取表后获取schema，所有varchar字段被识别为无长度的string类型，代码如下：

String f102SqlQuery = "select * from dev_dm_rco.f102";
Dataset<Row> f102Dataset = SparkService.sql(f102SqlQuery);
for(StructField sf:f102Dataset.schema().fields())
log.info("f102dataset sf.name()="+sf.name()+" sf.dataType().typeName()="+sf.dataType().typeName());

• 第二次直接执行show create table获取建表信息，返回的建表语句中varchar字段也全部转换为string类型，代码如下：

String f102CreateTable = "show create table dev_dm_rco.f102";
Dataset<Row> crtF102Stmt = sqlContext.sql(f102CreateTable);
log.info(f102CreateTable+": "+ crtF102Stmt.collectAsList());

出现该问题的核心原因是Spark 2.x版本默认和Hive Metastore交互时，会统一把varchar、char类型映射为StringType，因此常规方法无法拿到原始长度。

可行方案 #

方案1：通过Spark JDBC直接连接Impala查询元数据（更推荐） #

不需要额外申请其他数据库权限，仅用现有Impala访问权限即可实现，直接执行Impala原生的describe语句，返回结果会保留varchar的长度信息，代码示例：

// 配置Impala JDBC连接参数
Properties prop = new Properties();
prop.put("user", "你的Impala用户名");
prop.put("password", "你的Impala密码");
prop.put("driver", "com.cloudera.impala.jdbc41.Driver");

// 执行Impala原生describe语句
Dataset<Row> descResult = spark.read()
    .jdbc("jdbc:impala://你的Impala服务地址:21050/dev_dm_rco", 
    "(describe f102) as tmp", prop);

// 解析结果提取varchar长度
descResult.collectAsList().forEach(row -> {
    String colName = row.getString(0);
    String colType = row.getString(1);
    if(colType.startsWith("varchar")){
        int length = Integer.parseInt(colType.replaceAll("varchar\\((\\d+)\\)", "$1"));
        log.info("字段名：{}，varchar定义长度：{}", colName, length);
    }
});

方案2：查询Hive元数据库获取字段长度 #

Impala的表元数据存储在Hive Metastore对应的底层数据库（通常是MySQL/PostgreSQL）中，可以通过JDBC连接元数据库直接查询字段长度，核心查询SQL如下：

select 
    t.TBL_NAME as table_name,
    c.COLUMN_NAME as column_name,
    c.TYPE_NAME as data_type,
    c.CHARACTER_MAXIMUM_LENGTH as varchar_length
from 
    TBLS t
join DBS d on t.DB_ID = d.DB_ID
join SDS s on t.SD_ID = s.SD_ID
join COLUMNS_V2 c on s.CD_ID = c.CD_ID
where 
    d.NAME = 'dev_dm_rco' 
    and t.TBL_NAME = 'f102'
    and c.TYPE_NAME like 'varchar%';

在Spark中通过JDBC连接元数据库执行上述SQL，即可直接获取所有varchar字段的定义长度。

内容的提问来源于stack exchange，提问作者Saifytdin