AWS Glue PySpark DataFrame写入Snowflake时错误记录存S3失败求助

1. 确认Snowflake Spark Connector版本 #

旧版本的Snowflake Spark Connector不支持sfErrorFile等错误记录参数，必须使用2.9.0及以上版本。在AWS Glue作业的依赖配置中，确认引入的connector版本符合要求，例如Glue 3.0对应Spark 3.1，可使用maven坐标：net.snowflake:snowflake-spark_2.12:2.12.0（需搭配对应版本的snowflake-jdbc包）。

2. 修正错误文件参数配置 #

• sfErrorFile需指定S3路径前缀而非具体文件名，Snowflake会自动生成带唯一标识的错误文件，正确配置应为s3a://s3-bucket/error-records/，而非s3a://s3-bucket/error-records/error.csv。
• 确保Glue作业绑定的IAM角色拥有该S3路径的读写权限，需包含s3:GetObject、s3:PutObject、s3:ListBucket权限。

3. 调整错误处理参数组合 #

• sfErrorLimit设为0表示不限制错误行数，但建议先设为一个较大值（如1000）测试，确认错误记录生成后再改回0。
• sfOnError必须设为CONTINUE或SKIP_FILE，这两个值才会触发错误文件写入；若设为ABORT_STATEMENT会直接终止任务，不会生成错误记录。

4. 配置Snowflake外部存储集成 #

Snowflake需要通过外部存储集成访问你的S3桶，先在Snowflake中完成配置：

-- 创建外部存储集成（未创建时执行）
CREATE OR REPLACE STORAGE INTEGRATION s3_error_storage
  TYPE = EXTERNAL_STAGE
  STORAGE_PROVIDER = 'S3'
  ENABLED = TRUE
  STORAGE_AWS_ROLE_ARN = 'arn:aws:iam::123456789012:role/your-snowflake-s3-role'
  STORAGE_ALLOWED_LOCATIONS = ('s3://s3-bucket/error-records/');

-- 授予集成权限给对应角色
GRANT USAGE ON INTEGRATION s3_error_storage TO ROLE your_role;

然后在Spark写入的snowflakeOptions中添加该集成参数：

snowflakeOptions = {
    "sfURL": "your-account.snowflakecomputing.com",
    "sfUser": "your-user",
    "sfPassword": "your-password",
    "sfDatabase": "your-db",
    "sfSchema": "your-schema",
    "sfWarehouse": "your-warehouse",
    "storage_integration": "s3_error_storage"  # 新增此参数
}

5. 最小化场景测试 #

创建测试表并插入故意不符合schema的数据，用简化代码验证：

test_df = spark.createDataFrame([(1, "invalid-string"), (2, 3)], ["id", "num_col"])

test_df.write \
    .format("net.snowflake.spark.snowflake") \
    .options(**snowflakeOptions) \
    .option("dbtable", "test_error_table") \
    .mode("append") \
    .option("sfOnError", "CONTINUE") \
    .option("sfErrorLimit", 10) \
    .option("sfErrorFile", "s3a://s3-bucket/error-records/") \
    .save()

检查S3路径下是否生成错误文件，同时查看Snowflake查询历史中的错误日志。

内容的提问来源于stack exchange，提问作者phani437