使用Snowflake Spark Connector执行Insert查询时遭遇SQL编译错误

我明白你遇到的问题了——直接在Snowflake SQL客户端里能正常运行的INSERT...SELECT语句，换成用Spark Connector执行就触发了SQL编译错误，这确实挺让人挠头的。

问题根源 #

你现在用的spark.read.format(snowflake_source_name).option("query", command).load()这个方法，是Spark Snowflake Connector专门用来读取数据、生成DataFrame的接口，它只支持执行SELECT类的查询语句，而INSERT属于DML写入操作，完全不符合这个接口的设计预期，这就是为什么报错提示“unexpected 'insert'”——它本来等着接收查询语句，结果你塞了个插入命令，自然就语法报错了。

正确的解决方法 #

根据你的需求，有两种常用的解决思路：

思路1：用Spark DataFrame的读写流程实现（推荐，更贴合Spark生态）

先从源表读取数据，在Spark里处理生成需要的列，再写入目标表：

# 1. 读取源表APIDATA的数据
source_df = spark.read.format(snowflake_source_name) \
    .options(**snowflake_options) \
    .option("dbtable", "APIDATA") \
    .load()

# 2. 添加dim_ICON_Key列（生成ROW_NUMBER）
from pyspark.sql.window import Window
from pyspark.sql.functions import row_number

window_spec = Window.orderBy("ICON")
transformed_df = source_df.withColumn(
    "dim_ICON_Key", 
    row_number().over(window_spec)
).select("ICON", "dim_ICON_Key")

# 3. 将处理后的数据写入目标表Process.dim_ICON
transformed_df.write.format(snowflake_source_name) \
    .options(**snowflake_options) \
    .option("dbtable", "Process.dim_ICON") \
    .mode("append")  # 若需要覆盖表数据可换成"overwrite"
    .save()

思路2：直接执行原生INSERT语句（适合复杂SQL场景）

如果你的INSERT逻辑特别复杂，不想用Spark处理，可以直接用Snowflake的Python Connector执行原生SQL：

from snowflake.connector import connect

# 用Snowflake原生连接器建立连接
conn = connect(
    user=snowflake_options["user"],
    password=snowflake_options["password"],
    account=snowflake_options["account"],
    warehouse=snowflake_options["warehouse"],
    database=snowflake_options["database"],
    schema=snowflake_options["schema"]
)

try:
    cursor = conn.cursor()
    # 执行你的INSERT语句
    insert_sql = '''insert into Process.dim_ICON (ICON,dim_ICON_Key)
            select  ICON, ROW_NUMBER() OVER (ORDER BY ICON) from APIDATA'''
    cursor.execute(insert_sql)
    conn.commit()  # 记得提交事务
finally:
    # 关闭资源
    cursor.close()
    conn.close()

补充说明 #

你之前的代码在Snowflake客户端能跑是因为客户端直接执行DML语句是合法的，但Spark Connector的read接口只负责拉取数据，不支持写入类的SQL命令，这就是两边行为不一致的核心原因。

备注：内容来源于stack exchange，提问作者Ryono Raynon