Serverless Framework多SNS主题订阅超限问题求助

我之前也碰到过这个一模一样的坑！当你给Lambda函数逐个添加大量SNS触发器时，Serverless Framework会自动为每个主题生成一条IAM权限语句，很快就会触发AWS的IAM策略大小限制（20480字符），导致部署失败。下面是几个我亲测有效的解决方案，按优先级推荐：

方案1：用SQS做Fanout中转（最优解） #

这种方法能彻底规避IAM策略大小问题，还能给消息处理加缓冲，避免Lambda并发过载。核心思路是：先创建一个SQS队列，让所有SNS主题都订阅这个队列，再让Lambda只订阅该SQS队列。

配置步骤： #

1. 在serverless.yml中定义SQS队列及权限：

provider:
  name: aws
  region: your-region
  accountId: your-account-id

functions:
  yourHandler:
    handler: path/to/your.handler
    events:
      - sqs:
          arn: !GetAtt MySnsFanoutQueue.Arn
          batchSize: 5 # 根据业务调整批量处理数量

resources:
  Resources:
    MySnsFanoutQueue:
      Type: AWS::SQS::Queue
      Properties:
        QueueName: SnsToLambdaFanoutQueue

    SnsToSqsAccessPolicy:
      Type: AWS::SQS::QueuePolicy
      Properties:
        Queues:
          - !Ref MySnsFanoutQueue
        PolicyDocument:
          Version: "2012-10-17"
          Statement:
            - Effect: Allow
              Principal: "*"
              Action: sqs:SendMessage
              Resource: !GetAtt MySnsFanoutQueue.Arn
              Condition:
                ArnLike:
                  aws:SourceArn: "arn:aws:sns:${self:provider.region}:${self:provider.accountId}:*"

2. 批量订阅所有SNS主题到SQS：
   用AWS CLI脚本一次性完成所有主题的订阅（后续新增主题只需重新运行该脚本）：

# 获取目标区域下的所有SNS主题ARN
aws sns list-topics --region your-region --query "Topics[].TopicArn" --output text | tr '\t' '\n' | while read topicArn; do
  # 订阅当前主题到SQS队列
  aws sns subscribe --region your-region \
    --topic-arn "$topicArn" \
    --protocol sqs \
    --notification-endpoint "arn:aws:sqs:your-region:your-account-id:SnsToLambdaFanoutQueue"
done

方案2：手动配置IAM通配符权限+通配符触发器 #

如果不想引入SQS中转，可以直接给Lambda的IAM角色添加通配符权限，再通过脚本批量创建SNS订阅（Serverless的SNS事件通配符不会自动创建订阅，所以需要手动处理）。

配置步骤： #

1. 在serverless.yml中添加自定义IAM权限：

provider:
  name: aws
  region: your-region
  accountId: your-account-id
  iamRoleStatements:
    - Effect: Allow
      Action:
        - sns:Receive
        - sns:GetTopicAttributes
      Resource: "arn:aws:sns:${self:provider.region}:${self:provider.accountId}:*"
    # 额外添加订阅权限（仅首次运行脚本时需要，之后可以移除）
    - Effect: Allow
      Action: sns:Subscribe
      Resource: "arn:aws:sns:${self:provider.region}:${self:provider.accountId}:*"

functions:
  yourHandler:
    handler: path/to/your.handler
    # 这里不需要再逐个加sns事件，因为我们会手动创建订阅

2. 用脚本批量订阅所有主题到Lambda：

# 获取Lambda函数的ARN
LAMBDA_ARN=$(aws lambda get-function --function-name your-function-name --region your-region --query "Configuration.FunctionArn" --output text)

# 批量订阅所有SNS主题到该Lambda
aws sns list-topics --region your-region --query "Topics[].TopicArn" --output text | tr '\t' '\n' | while read topicArn; do
  aws sns subscribe --region your-region \
    --topic-arn "$topicArn" \
    --protocol lambda \
    --notification-endpoint "$LAMBDA_ARN"
done

方案3：拆分Lambda函数（退而求其次） #

如果上述两种方案都不适合，可以按主题的业务属性分组，把主题分成若干组，每组对应一个Lambda函数。这样每个Lambda的IAM策略只会包含对应组的主题权限，不会超过大小限制。但这种方案会增加维护成本，适合主题能明确分组的场景。

内容的提问来源于stack exchange，提问作者peterjohn