如何通过S3 stage集成向Snowflake插入数据

前置操作1：创建AWS与Snowflake的Storage Integration #

这一步用于实现Snowflake和AWS的身份权限互信，无需在Snowflake侧硬编码AWS密钥，安全性更高：

• 运行SQL创建Storage Integration，替换语句内的AWS账号ID、角色名、S3路径为你的实际资源信息：

CREATE STORAGE INTEGRATION s3_snowflake_int
  TYPE = EXTERNAL_STAGE
  STORAGE_PROVIDER = 'S3'
  ENABLED = TRUE
  STORAGE_AWS_ROLE_ARN = 'arn:aws:iam::[AWS账号ID]:role/[允许Snowflake访问S3的IAM角色名]'
  STORAGE_ALLOWED_LOCATIONS = ('s3://[S3桶名]/[数据文件存放路径]/');

• 执行命令查看集成配置详情，记录返回结果中的STORAGE_AWS_IAM_USER_ARN和STORAGE_AWS_EXTERNAL_ID两个参数：
  DESCRIBE STORAGE INTEGRATION s3_snowflake_int;
• 前往AWS控制台，修改上述IAM角色的信任策略，允许Snowflake生成的IAM用户代入该角色，完成跨账号权限配置。

前置操作2：创建S3与Snowflake的Stage集成 #

Stage是Snowflake对接外部存储的逻辑对象，关联成功后可以直接读取S3内的文件：

• 运行SQL创建External Stage，可根据你的文件类型自定义文件格式参数：

CREATE STAGE s3_data_stage
  URL = 's3://[S3桶名]/[数据文件存放路径]/'
  STORAGE_INTEGRATION = s3_snowflake_int
  -- 以下为CSV格式示例，可替换为JSON、PARQUET等对应配置
  FILE_FORMAT = (TYPE = 'CSV' FIELD_DELIMITER = ',' SKIP_HEADER = 1 ENCODING = 'UTF8');

• 执行命令验证Stage配置有效性，正常返回S3文件列表即为配置成功：
  LIST @s3_data_stage;

从S3 Stage向Snowflake插入数据 #

前置配置完成后，通过COPY INTO命令即可批量导入S3中的数据到目标表：

• 提前创建和S3文件字段匹配的目标表，示例如下：

CREATE TABLE IF NOT EXISTS target_table (
  id INT,
  name VARCHAR(100),
  create_time TIMESTAMP,
  ext_data JSON
);

• 运行COPY INTO命令批量导入数据，ON_ERROR参数可自定义错误处理规则：

COPY INTO target_table
  FROM @s3_data_stage
  -- 如需要做字段转换、过滤，可替换为FROM (SELECT $1, $2, $3::TIMESTAMP, PARSE_JSON($4) FROM @s3_data_stage)
  ON_ERROR = 'CONTINUE';

• 导入完成后可执行查询验证数据是否正常写入：
  SELECT * FROM target_table LIMIT 10;

提示：如果仅需要导入部分文件，可以在COPY INTO语句中加PATTERN = '.*\.csv\.gz'这类正则规则匹配目标文件，避免全量扫描。

内容的提问来源于stack exchange，提问作者Prasad