Spark保存Parquet为表后列名带前缀致查询异常求助

问题原因 #

你遇到的情况是因为原Parquet文件的Schema里，所有列都被包裹在一个名为table1的结构体中。直接保存这个DataFrame到Hive表时，Spark会保留这个嵌套结构，导致表的实际列路径是table1.col1、table1.col2，而非顶级的col1、col2。这就是为什么SELECT *能看到带前缀的列名，而直接查col2会提示列不存在——错误信息里的spark_catalog.database.table1.table1.col2也验证了这一点：列确实嵌套在table1结构体下。

解决方案 #

核心是读取Parquet后先扁平化嵌套的结构体，再保存为表，具体步骤如下：

1. 检查原DataFrame的Schema #

先确认嵌套结构的存在：

# Python示例
df = spark.read.parquet("你的Parquet文件路径")
df.printSchema()

// Scala示例
val df = spark.read.parquet("你的Parquet文件路径")
df.printSchema()

输出会显示类似这样的嵌套结构：

root
 |-- table1: struct (nullable = true)
 |    |-- col1: string (nullable = true)
 |    |-- col2: int (nullable = true)

2. 扁平化结构体，提取所有顶级列 #

使用select方法展开嵌套的table1结构体：

flattened_df = df.select("table1.*")

val flattenedDf = df.select("table1.*")

这一步会把table1下的所有列提取为DataFrame的顶级列，此时再打印Schema，就能看到扁平的结构：

root
 |-- col1: string (nullable = true)
 |-- col2: int (nullable = true)

3. 重新保存为目标表 #

将扁平化后的DataFrame写入database.table1：

flattened_df.write.mode("overwrite").saveAsTable("database.table1")

flattenedDf.write.mode("overwrite").saveAsTable("database.table1")

4. 验证查询 #

保存完成后，执行SELECT col2 FROM database.table1就能正常返回结果，也可以用DESCRIBE database.table1查看表结构，确认列名已无表前缀。

额外提示 #

如果原Parquet的嵌套结构体名称不是table1，只需把代码中的table1替换为实际的结构体名称即可。如果有多层嵌套，可以多次使用select("xxx.*")逐步展开，或者编写递归函数自动处理所有嵌套列（适合复杂Schema场景）。

内容的提问来源于stack exchange，提问作者user3486773