无Hive元数据时，如何用Spark SQL读取本地Hudi表？

核心原因 #

你通过DataFrame API的save()方法写入的是路径式Hudi表，这类表不会自动注册到Spark Catalog中，而show tables只会列出Catalog里已注册的表；另外报错中的global_temp警告是Spark默认检查临时数据库的正常提示，和当前问题无关。

解决方法 #

方法1：显式注册路径表到Catalog #

直接在Spark SQL中执行语句，将本地路径的Hudi表注册到Catalog，无需Hive元数据：

CREATE TABLE table_name USING hudi LOCATION '/tmp/table_name';

执行后即可用show tables;看到该表，也能正常执行SELECT * FROM table_name;。

方法2：写入时直接创建Catalog管理表 #

修改PySpark写入代码，改用saveAsTable()替代save()，写入时自动将表注册到Catalog：

inserts.write.format("hudi") \
    .options(**hudi_options) \
    .mode("overwrite") \
    .saveAsTable("table_name")

如果需要指定自定义存储路径（而非默认的Spark仓库目录），添加path参数：

inserts.write.format("hudi") \
    .options(**hudi_options) \
    .option("path", "/tmp/table_name") \
    .mode("overwrite") \
    .saveAsTable("table_name")

方法3：直接通过路径查询（无需注册） #

如果不想注册表，可直接在Spark SQL中通过路径查询数据：

SELECT * FROM hudi.`/tmp/table_name`;

注意事项 #

• 你的SparkSession配置（启用Hudi Catalog、Extension等）是正确的，无需调整。
• 无Hive元数据的情况下，仅依赖Spark内置Catalog即可，无需额外配置Hive相关参数。

内容的提问来源于stack exchange，提问作者koushik kirugulige