Spark/PySpark中Show Create Table显示内部表Location的配置咨询
问题
在Hive中执行show create table语句时,内部表与外部表的创建语句均包含Location路径;但在Spark(PySpark)及Databricks中,仅外部表的show create table结果会显示Location,内部表则无此信息。我需要收集从本地环境到Databricks所有表带Location的创建语句,目前可通过desc table获取Location,但希望了解是否有配置能让show create table也显示内部表的Location。
示例
Hive执行语句
show create table db1.table1;
PySpark执行代码
createStatement = spark.sql("show create table db1.table1") createStatement.show()
解决方案
Spark和Databricks默认不会在show create table的内部表结果里展示Location,但可以通过配置参数修改这个行为:
全局/会话级配置:设置Spark SQL参数
spark.sql.hive.showCreateTable.location为true,开启后show create table会同时显示内部表和外部表的Location路径,行为和Hive保持一致。几种配置方式:
- 启动SparkSession时指定:
from pyspark.sql import SparkSession spark = SparkSession.builder \ .appName("ShowTableWithLocation") \ .config("spark.sql.hive.showCreateTable.location", "true") \ .getOrCreate() - 运行中动态设置(适用于已启动的SparkSession或Databricks Notebook):
SET spark.sql.hive.showCreateTable.location=true;
- 启动SparkSession时指定:
Databricks集群配置:如果需要全局生效,可以在集群的「Spark配置」中添加一行:
spark.sql.hive.showCreateTable.location true
配置完成后,再执行show create table db1.table1,就能看到内部表的Location路径出现在创建语句里了。
内容的提问来源于stack exchange,提问作者CuriousB
相关产品推荐
相关产品推荐

