如何从Generic UDF访问表结构及Hive动态生成视图需求

嘿，这两个Hive问题我刚好有实操经验，给你详细唠唠：

1. 如何从Generic UDF中访问表的Schema？ #

首先得明确：Generic UDF本身是按列处理的，没法直接拿到整个表的完整Schema（比如所有列的元数据，包括没传入UDF的列）。但如果是要获取传入UDF的那些列的元数据（比如列名、数据类型），可以在initialize方法里通过ObjectInspector来解析——这是UDF初始化时Hive传给你的关键工具。

举个实际的代码例子，假设你想传入整行数据（用*）来获取所有列的信息：

import org.apache.hadoop.hive.ql.exec.UDFArgumentException;
import org.apache.hadoop.hive.ql.metadata.HiveException;
import org.apache.hadoop.hive.ql.udf.generic.GenericUDF;
import org.apache.hadoop.hive.serde2.objectinspector.ObjectInspector;
import org.apache.hadoop.hive.serde2.objectinspector.StructObjectInspector;
import org.apache.hadoop.hive.serde2.objectinspector.primitive.StringObjectInspector;

public class SchemaAccessUDF extends GenericUDF {
    private StructObjectInspector rowStructOI;

    @Override
    public ObjectInspector initialize(ObjectInspector[] arguments) throws UDFArgumentException {
        // 校验输入：必须传入整行数据（Struct类型，对应select my_udf(*) from table）
        if (arguments.length != 1 || !(arguments[0] instanceof StructObjectInspector)) {
            throw new UDFArgumentException("请传入整行数据（使用*作为参数）");
        }
        rowStructOI = (StructObjectInspector) arguments[0];
        
        // 遍历所有列的元数据：列名 + 数据类型
        rowStructOI.getAllStructFieldRefs().forEach(field -> {
            String colName = field.getFieldName();
            String colType = field.getFieldObjectInspector().getTypeName();
            System.out.printf("列名：%s，数据类型：%s%n", colName, colType);
        });
        
        // 这里随便返回String类型作为示例，你可以根据需求改
        return StringObjectInspector.get();
    }

    @Override
    public Object evaluate(DeferredObject[] arguments) throws HiveException {
        // 这里写你的业务逻辑，比如返回列数
        return "当前行共有" + rowStructOI.getAllStructFieldRefs().size() + "列";
    }

    @Override
    public String getDisplayString(String[] children) {
        return "schema_access_udf(" + children[0] + ")";
    }
}

另外补充两点：

• 如果只需要某几列的元数据，不用传*，直接传对应列就行，在initialize里解析对应的ObjectInspector即可。
• 如果非要获取整个表的完整Schema（包括没传入UDF的列），可以在UDF里调用HiveMetastoreClient去查元数据，但这种做法不推荐——一来需要额外的权限，二来每次UDF执行都连元数据服务，性能会很差，除非你有特殊需求。

2. 创建动态接收Hive变量的视图，转换0/1为agreed/disagreed #

你的需求是让视图能根据用户设置的变量（比如set name="Ann"）动态展示对应列的转换结果，这里有两种方案，各有优劣：

方案一：直接用Hive变量绑定列（简单但容错差） #

这种方案最直接，创建视图时直接引用${hiveconf:name}变量，查询前设置变量即可：

-- 假设原表叫survey_table
CREATE VIEW dynamic_survey_view AS
SELECT 
    question,
    CASE 
        WHEN ${hiveconf:name} = 1 THEN 'agreed'
        ELSE 'disagreed'
    END AS ${hiveconf:name}
FROM survey_table;

使用方式：

-- 设置要查询的列名
SET hiveconf:name = 'Ann';
-- 查询视图
SELECT * FROM dynamic_survey_view;

⚠️ 注意：如果变量没设置，或者设置的列名不存在，查询会直接报错，容错性较差。

方案二：先转窄表再过滤（灵活且容错好） #

先把宽表（question列+多个用户列）转成窄表（question、name、answer），再通过视图过滤变量指定的name，最后转换值。这种方式更灵活，即使变量设置的列名不存在，也只会返回空结果，不会报错。

第一步：创建转窄表的视图（一次性操作）

如果是Hive 2.3+，可以用EXPLODE(map())来快速转窄表，不用写一堆UNION ALL：

CREATE VIEW survey_unpivoted AS
SELECT 
    question,
    -- 把每个用户列转成map的key-value，再explode成行
    explode(map(
        'John', John,
        'Ann', Ann,
        'Bob', Bob,
        'Melisa', Melisa
    )) AS (name, answer)
FROM survey_table;

如果是低版本Hive，用UNION ALL实现：

CREATE VIEW survey_unpivoted AS
SELECT question, 'John' AS name, John AS answer FROM survey_table
UNION ALL
SELECT question, 'Ann' AS name, Ann AS answer FROM survey_table
UNION ALL
SELECT question, 'Bob' AS name, Bob AS answer FROM survey_table
UNION ALL
SELECT question, 'Melisa' AS name, Melisa AS answer FROM survey_table;

第二步：创建动态视图

CREATE VIEW dynamic_survey_view AS
SELECT 
    question,
    CASE 
        WHEN answer = 1 THEN 'agreed'
        ELSE 'disagreed'
    END AS ${hiveconf:name}
FROM survey_unpivoted
WHERE name = ${hiveconf:name};

使用方式和方案一一样，设置变量后查询视图即可，容错性更好。

内容的提问来源于stack exchange，提问作者Aleksejs R