Apache Hive自定义UDF调用报错SemanticException [Error 10014]求助

这个SemanticException [Error 10014]报错的核心原因很清晰——你的UDF没有遵循Hive UDF的核心规范，导致Hive找不到能匹配string参数的处理方法。下面是具体的排查和修复步骤：

1. 核心问题：UDF方法名不符合规范 #

Hive UDF要求对外暴露的核心处理方法必须命名为evaluate，而不是你自定义的tokenize。Hive在解析UDF调用时，会自动扫描类中名为evaluate的方法来匹配传入的参数类型，你的方法名不满足这个要求，所以Hive提示“找不到匹配的方法”。

2. 可选优化：参数类型适配 #

你的代码用了Text作为参数，虽然Hive的string类型可以自动转换为Text，但直接使用String作为参数会更直观，也能减少类型转换的潜在问题。当然如果需要兼容Text类型，也可以重载evaluate方法。

3. 修复后的完整UDF代码 #

package HiveUDF;

import org.apache.hadoop.hive.ql.exec.UDF;
import java.util.ArrayList;
import java.util.List;

public class TokenizeString extends UDF {
    // 核心处理方法必须命名为evaluate，参数用String适配Hive的string类型
    public List<String> evaluate(String text) {
        List<String> prova = new ArrayList<>();
        if (text == null || text.isEmpty()) {
            return null;
        }
        String[] words = text.split("\\n");
        for (String w : words) {
            prova.add(w);
        }
        return prova;
    }

    // 可选：重载方法支持Text类型参数
    public List<String> evaluate(org.apache.hadoop.io.Text text) {
        if (text == null) {
            return null;
        }
        return evaluate(text.toString());
    }
}

4. 重新部署UDF并验证 #

• 把修复后的代码重新编译成JAR包，替换掉原来的UDF JAR（如果已经上传到HDFS或本地路径）
• 重新注册临时函数（如果需要指定JAR路径可以加上using jar参数）：

  CREATE TEMPORARY FUNCTION tokenize_summary as 'HiveUDF.TokenizeString';
  -- 或者指定JAR路径：
  -- CREATE TEMPORARY FUNCTION tokenize_summary as 'HiveUDF.TokenizeString' using jar 'hdfs://your/path/to/udf.jar';
  

• 再次执行查询：

  select tokenize_summary(summary) from amazonproduct;
  

额外注意事项 #

• 确保你的UDF JAR已经被Hive加载到classpath中，否则会出现类找不到的错误
• 如果你返回的是List<String>，Hive会自动将其转换为数组类型，查询结果会以数组格式展示

内容的提问来源于stack exchange，提问作者Gianlorenzo Didonato