基于Synapse Spark分区表创建Synapse SQL DW分区表时遭遇列数不匹配错误

从你给出的错误信息里，核心问题非常明确：

External file access failed due to internal error: 'File ... HdfsBridge::CreateRecordReader - Unexpected error encountered creating the record reader: HadoopExecutionException: Column count mismatch. Source file has 5 columns, external table definition has 6 columns.'

简单说就是：你Spark DataFrame里的列数是5，但要写入的SQL DW目标表（或者连接器自动创建的外部表）定义了6列，两者不匹配导致写入失败。

下面是具体的排查和解决步骤：

1. 先搞清楚两边的表结构 #

首先确认Spark源表sparkTable的列数和具体结构，执行这条Spark语句查看详情：

spark.sql("DESCRIBE sparkTable").show(false)

然后去SQL DW里检查目标表My_SQL_Pool.dbo.StudentFromSpak的结构：

• 如果是你手动创建的表，直接在SQL DW里执行DESCRIBE My_SQL_Pool.dbo.StudentFromSpak;对比列数、列名和数据类型；
• 如果是让连接器自动创建表，大概率是之前残留了旧的表结构（比如之前创建过带6列的表），导致这次写入时结构冲突。

2. 针对性修正方案 #

方案一：显式指定列，避免SELECT *的坑

你当前用了SELECT * FROM sparkTable，这种写法很容易引入意外的列差异（比如Spark表新增/减少了列，或者目标表的列数和源表不一致）。改成显式写出所有需要的列，确保和目标表的列数、顺序完全匹配：

%%spark
// 替换成你实际的列名，确保数量和目标表一致
val df1 = spark.sql("SELECT col1, col2, col3, col4, col5, year FROM sparkTable")
df1.write.partitionBy("year").sqlanalytics("My_SQL_Pool.dbo.StudentFromSpak", Constants.INTERNAL )

方案二：手动创建匹配的SQL DW分区表

如果目标表还没创建，建议先在SQL DW里手动创建和Spark表结构完全匹配的分区表，再执行写入。示例SQL语句如下（替换成你的实际列和类型）：

CREATE TABLE My_SQL_Pool.dbo.StudentFromSpak
(
    -- 这里写Spark表中除了分区列year之外的所有列
    col1 INT,
    col2 VARCHAR(100),
    col3 DATE,
    col4 FLOAT,
    col5 BIT
)
PARTITION BY (year)
WITH
(
    DISTRIBUTION = ROUND_ROBIN, -- 根据你的需求选择分布方式
    CLUSTERED COLUMNSTORE INDEX
)

方案三：清理残留的旧表和临时文件

如果之前尝试过写入，可能在SQL DW里留下了结构不匹配的旧表，或者Synapse存储里有残留的临时文件。先删除SQL DW中的目标表：

DROP TABLE IF EXISTS My_SQL_Pool.dbo.StudentFromSpak;

然后清理Synapse工作区中对应的临时存储路径（就是错误信息里的/synapse/workspaces/test-partition-workspace/.../SQLAnalyticsConnectorStaging/下的相关文件），避免旧结构干扰。

额外注意点 #

• 除了列数，还要确保数据类型完全匹配：比如Spark的StringType对应SQL DW的VARCHAR/NVARCHAR，IntegerType对应INT，TimestampType对应DATETIME2等，类型不匹配也可能引发类似的写入错误；
• 使用partitionBy("year")时，要确保year列在Spark DataFrame中存在，并且SQL DW表的分区列也是year，否则会出现分区列不匹配的问题。

内容的提问来源于stack exchange，提问作者salem mekanne