创建Databricks临时SQL UDF遇Hive元存储客户端实例化错误

问题场景 #

按照Databricks文档编写的极简临时SQL函数，单独执行函数内的SQL语句正常，但创建函数时抛出以下错误：

%sql
create or replace temporary function fn_infinity()
returns timestamp
return 
select to_timestamp('2099-12-31T23:59:59.999+0000')

错误信息：

org.apache.spark.sql.AnalysisException: org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.metastore.HiveMetaStoreClient
---------------------------------------------------------------------------
Py4JJavaError                             Traceback (most recent call last)
File /databricks/spark/python/pyspark/sql/utils.py:209, in capture_sql_exception.<locals>.deco(*a, **kw)
    208 try:
--> 209     return f(*a, **kw)
    210 except Py4JJavaError as e:

File /databricks/spark/python/lib/py4j-0.10.9.5-src.zip/py4j/protocol.py:326, in get_return_value(answer, gateway_client, target_id, name)
    325 if answer[1] == REFERENCE_TYPE:
--> 326     raise Py4JJavaError(
    327         "An error occurred while calling {0}{1}{2}.\n".
    328         format(target_id, ".", name), value)
    329 else:

Py4JJavaError: An error occurred while calling o363.sql.
: org.apache.spark.sql.AnalysisException: org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.metastore.HiveMetaStoreClient

已尝试重新连接集群，怀疑与Unity Catalog相关，以下是具体排查思路：

• 检查集群的Unity Catalog配置
  确认集群是否正确挂载Unity Catalog，查看集群"Data Security"配置项，确保已启用Unity Catalog，且集群使用的服务主体拥有访问元数据的权限。若集群未关联Unity Catalog，临时函数创建可能回退到旧Hive metastore，若该metastore配置异常则会触发错误。

• 验证当前会话的元仓库上下文
  执行SELECT current_catalog(), current_schema();确认当前会话使用的catalog和schema是否属于Unity Catalog。如果当前使用默认的hive_metastore，检查该metastore状态是否正常，比如是否存在网络访问限制、metastore服务是否可用。

• 简化函数语法测试
  临时函数的返回语句无需嵌套select，直接返回表达式即可。修改函数为：

  create or replace temporary function fn_infinity()
  returns timestamp
  return to_timestamp('2099-12-31T23:59:59.999+0000')
  

  测试是否能正常创建，避免因语法问题触发元存储访问异常。

• 检查集群权限与服务主体权限
  确认集群使用的服务主体（或当前用户）拥有创建临时函数的权限，以及访问Unity Catalog元数据的权限。即使是临时函数，部分场景下也需要元存储的读写权限完成注册。

• 查看集群日志定位根因
  进入集群"Logs"页面，查看driver日志中的详细错误信息，HiveMetaStoreClient实例化失败通常会有更具体原因，比如认证失败、网络连接超时、metastore版本不兼容等，这些信息能精准定位问题。

• 测试非Unity Catalog环境
  创建一个不启用Unity Catalog的集群，尝试在该集群中创建相同的临时函数。如果能成功创建，则说明问题确实与Unity Catalog的配置或权限相关；如果依然失败，则排查方向转向Hive metastore的通用配置问题。

内容的提问来源于stack exchange，提问作者Greg