Spark SQL中能否为Parquet表启用mergeSchema选项并创建可查询表？

可以通过以下几种方式实现让Spark SQL直接访问经过mergeSchema处理的Parquet表：

1. 创建临时视图（会话级可用） #

先通过PySpark读取时启用mergeSchema合并Schema，再将DataFrame注册为临时视图，即可用Spark SQL直接查询：

# 读取Parquet文件并合并Schema
df_catalog = spark.read.option("mergeSchema", "true").parquet("dbfs:/mnt/gold/catalog.parquet")
# 注册为临时视图
df_catalog.createOrReplaceTempView("catalog_temp")

之后在Spark SQL中直接查询：

SELECT * FROM catalog_temp;

2. 创建永久表（跨会话可用） #

方式一：直接通过CREATE TABLE指定mergeSchema选项 #

在创建表时显式指定mergeSchema参数，Spark会自动合并所有Parquet文件的Schema：

CREATE TABLE catalog_permanent
USING PARQUET
LOCATION 'dbfs:/mnt/gold/catalog.parquet'
OPTIONS (mergeSchema 'true');

如果需要避免自动推断Schema的不确定性，也可以手动定义合并后的字段结构：

CREATE TABLE catalog_permanent (
  -- 根据实际合并后的Schema调整字段
  id INT,
  CreateDate STRING,
  name STRING,
  -- 其他字段...
)
USING PARQUET
LOCATION 'dbfs:/mnt/gold/catalog.parquet'
OPTIONS (mergeSchema 'true');

方式二：通过CTAS（Create Table As Select）创建 #

先读取合并Schema后的DataFrame，再将其保存为永久表：

df_catalog = spark.read.option("mergeSchema", "true").parquet("dbfs:/mnt/gold/catalog.parquet")
# 保存为永久表，存储位置由Spark配置默认指定
df_catalog.write.saveAsTable("catalog_permanent")

也可以直接用SQL语句执行CTAS：

CREATE TABLE catalog_permanent
USING PARQUET
AS SELECT * FROM parquet.`dbfs:/mnt/gold/catalog.parquet` OPTIONS (mergeSchema 'true');

注意事项 #

• 永久表创建后，Schema会固定为合并后的结构。如果后续Parquet文件新增字段或修改字段类型，需要重新执行上述创建操作以更新表的Schema。
• 若使用Delta Lake格式，可更灵活地处理Schema变更；原生Parquet表则依赖上述方式解决Schema不一致问题。

内容的提问来源于stack exchange，提问作者DejanS