JSON文件含重复列，创建Spark SQL外部表报错求解决方案

核心思路 #

通过设置Spark配置允许忽略重复列，同时显式指定无重复列的Schema来创建外部表，绕过Spark默认的重复列校验。

方法一：直接用DDL指定Schema创建表 #

1. 先设置Spark配置，允许解析JSON时忽略重复列

SET spark.sql.json.ignoreDuplicateColumns = true;

2. 编写CREATE TABLE语句，显式定义无重复列的Schema，指向JSON文件路径：

CREATE EXTERNAL TABLE IF NOT EXISTS your_target_table (
  -- 替换成你的实际列定义，确保无重复列名
  id INT,
  content STRING,
  filename STRING -- 只保留一个filename列，重复的会被自动忽略
)
USING json
LOCATION '/dbfs/path/to/your/json/files' -- 替换成你的JSON文件存储路径
TBLPROPERTIES (
  'spark.sql.json.ignoreDuplicateColumns' = 'true'
);

方法二：通过DataFrame生成Schema后创建表 #

如果不确定JSON的完整列结构，可以先通过DataFrame处理重复列，再导出Schema用于SQL表创建：

1. 在Databricks的Python单元格中执行，读取JSON并处理重复列：

# 读取JSON文件，开启忽略重复列选项
df = spark.read.option("ignoreDuplicateColumns", "true").json("/dbfs/path/to/your/json/files")
# 生成Schema的DDL格式字符串
schema_ddl = df.schema.simpleString()
print(schema_ddl)

2. 复制输出的Schema字符串，替换到SQL的CREATE TABLE语句中：

SET spark.sql.json.ignoreDuplicateColumns = true;

CREATE EXTERNAL TABLE IF NOT EXISTS your_target_table
(
  -- 粘贴刚才输出的Schema列定义（已自动去重）
  id INT, content STRING, filename STRING
)
USING json
LOCATION '/dbfs/path/to/your/json/files'
TBLPROPERTIES (
  'spark.sql.json.ignoreDuplicateColumns' = 'true'
);

方法三：用CREATE TABLE AS SELECT处理重复列 #

如果需要自定义处理重复列（比如重命名其中一个），可以先通过SELECT语句筛选列：

SET spark.sql.json.ignoreDuplicateColumns = true;

CREATE EXTERNAL TABLE IF NOT EXISTS your_target_table
LOCATION '/dbfs/path/to/your/json/files'
AS
SELECT
  id,
  content,
  filename, -- 保留第一个出现的filename
  -- 如果需要保留重复的列，可通过get_json_object提取（仅当知道JSON结构时可用）
  get_json_object(raw_json, '$.filename') AS filename_dup
FROM (
  SELECT *, to_json(struct(*)) AS raw_json
  FROM json.`/dbfs/path/to/your/json/files`
);

内容的提问来源于stack exchange，提问作者Harsha Vardhan