创建带SNS主题的Snowflake Pipe时提示TopicArn参数无效问题排查

错误信息 #

090040 (XX000): Pipe Notifications bind failure "Invalid parameter: TopicArn (Service: Sns, Status Code: 400, Request ID: d7fbc360-1faf-5216-bfab-9f037f6ac63d): AwsErrorDetails(errorMessage=Invalid parameter: TopicArn, errorCode=InvalidParameter, serviceName=Sns)"

执行的Pipe创建语句 #

create pipe PROJECT.PUBLIC.mypipe
  auto_ingest=true
  aws_sns_topic='arn:aws:sns:us-east-2:4xxxxxxxx:SNSexample'
  as
    copy into PROJECT.PUBLIC.LOADING_STATION(INFO)
    from (select $1 from @REFERENCE_STATION)

当前SNS策略配置（整理后） #

{
  "Version": "2008-10-17",
  "Id": "__default_policy_ID",
  "Statement": [
    {
      "Sid": "__default_statement_ID",
      "Effect": "Allow",
      "Principal": {
        "AWS": "*"
      },
      "Action": [
        "SNS:GetTopicAttributes",
        "SNS:SetTopicAttributes",
        "SNS:AddPermission",
        "SNS:RemovePermission",
        "SNS:DeleteTopic",
        "SNS:ListSubscriptionsByTopic",
        "SNS:Receive"
      ],
      "Resource": "arn:aws:sns:us-east-2:accountid:SNSexample.fifo",
      "Condition": {
        "StringEquals": {
          "AWS:SourceOwner": "snowflakeaccountid"
        }
      }
    },
    {
      "Sid": "1",
      "Effect": "Allow",
      "Principal": {
        "AWS": "arn:aws:iam::snowflakeaccountid:user/cie40000-s"
      },
      "Action": "sns:Subscribe",
      "Resource": "arn:aws:sns:us-east-2:myaccountid:SNSexample.fifo"
    },
    {
      "Sid": "s3-event-notifier",
      "Effect": "Allow",
      "Principal": {
        "Service": "s3.amazonaws.com"
      },
      "Action": "SNS:Publish",
      "Resource": "arn:aws:sns:us-east-2:myaccountid:SNSexample.fifo",
      "Condition": {
        "ArnLike": {
          "aws:SourceArn": "arn:aws:s3:*:*:bucketname"
        }
      }
    }
  ]
}

问题分析 #

1. SNS主题类型不兼容：当前使用的是FIFO类型SNS主题（ARN含.fifo后缀），但Snowflake Snowpipe仅支持标准SNS主题，不支持FIFO主题，这是参数无效的核心原因。
2. TopicArn不一致：Pipe创建语句中的aws_sns_topic值与SNS策略中配置的主题ARN不匹配，账号ID、主题名称（缺少.fifo后缀）均存在差异。
3. 策略占位符未替换：SNS策略中的accountid、myaccountid、snowflakeaccountid、bucketname都是占位符，未替换为真实的AWS账号ID和S3桶名称，会导致权限验证失败。

解决步骤 #

• 更换为标准SNS主题：删除现有FIFO SNS主题，重新创建标准SNS主题（创建时不要勾选"FIFO主题"选项）。
• 修正TopicArn一致性：将Pipe创建语句中的aws_sns_topic值替换为新创建的标准SNS主题完整ARN，确保无.fifo后缀，账号ID、区域、名称完全匹配。
• 完善SNS策略配置：
  1. 把策略中所有占位符替换为真实的AWS账号ID和S3桶名称。
  2. 确保策略资源ARN指向新创建的标准SNS主题（移除.fifo后缀）。
  3. 确认Snowflake对应的IAM实体拥有sns:Subscribe权限，S3服务拥有sns:Publish权限。
• 重新创建Pipe：使用修正后的aws_sns_topic值重新执行Pipe创建语句。

内容的提问来源于stack exchange，提问作者Kashif Mohammed