如何使用Snowpark Python结合存储集成将Snowflake数据卸载到S3

问题原因 #

DataFrameWriter.copy_into_location方法本身没有单独暴露storage_integration参数，但可通过options字典传递该配置。报错的核心问题是你给参数值加了单引号，Snowflake要求STORAGE_INTEGRATION必须是无引号或双引号包裹的标识符，而非字符串字面量。

解决方案 #

1. 基础用法（存储集成名称无特殊字符）

直接在options中指定存储集成名称，不要加单引号：

# 假设df是待卸载的目标DataFrame
df.write.copy_into_location(
    location='s3://your-target-bucket/unload-path/',
    format_type='CSV',  # 根据需求选择格式（CSV/PARQUET等）
    options={
        'STORAGE_INTEGRATION': 'SI_NAME',  # 直接写存储集成名称，无单引号
        'HEADER': 'TRUE',
        'OVERWRITE': 'TRUE'  # 可选：覆盖已有文件
    }
)

2. 处理含特殊字符的存储集成名称

如果存储集成名称包含空格、小写字母或特殊符号，用双引号包裹名称：

df.write.copy_into_location(
    location='s3://your-target-bucket/unload-path/',
    format_type='PARQUET',
    options={
        'STORAGE_INTEGRATION': '"My_Custom-SI"',  # 双引号包裹特殊名称
        'COMPRESSION': 'SNAPPY'
    }
)

3. 验证生成的SQL（可选）

开启dry_run模式查看生成的SQL语句，确认语法是否正确：

df.write.copy_into_location(
    location='s3://your-target-bucket/unload-path/',
    format_type='CSV',
    options={
        'STORAGE_INTEGRATION': 'SI_NAME'
    },
    dry_run=True
)

执行后会打印出生成的COPY INTO语句，可检查STORAGE_INTEGRATION部分是否符合要求（无引号或双引号标识符）。

内容的提问来源于stack exchange，提问作者NikhilKV