Terraform配置aws_iam_role_policy后kafka:ListClusters权限报错如何解决？

• AWS MSK的部分API操作不支持资源级权限控制，其中就包括你报错的kafka:ListClusters，这类操作的资源只能指定为*，不能绑定单个集群ARN。你当前的策略把所有kafka:List*、kafka:Describe*、kafka:Get*动作都关联到了具体集群ARN，导致这部分不支持资源级限制的动作完全不生效，所以触发权限报错和控制台的策略警告。
• 另外你要访问CloudWatch的MSK指标，当前策略没有加CloudWatch相关的操作权限，后续拉取指标也会失败。

方案1：保留ListClusters权限（适合需要调用列表接口的场景） #

拆分两条策略语句，分别处理支持资源级限制和不支持的动作，同时补充CloudWatch指标访问权限：

resource "aws_iam_role_policy" "msk_access" {
  name = "${element(split("-", var.product), 0)}-${var.env}-${var.region}-msk-access"
  role = module.instance_role.instance_role

  policy = <<EOF
{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Action": [
                "kafka:DescribeCluster",
                "kafka:DescribeClusterV2",
                "kafka:Get*",
                "cloudwatch:GetMetricStatistics",
                "cloudwatch:ListMetrics"
            ],
            "Effect": "Allow",
            "Resource": "${data.terraform_remote_state.msk_vpc[0].outputs.cluster_arn}"
        },
        {
            "Action": [
                "kafka:ListClusters"
            ],
            "Effect": "Allow",
            "Resource": "*"
        }
    ]
}
EOF
}

方案2：收紧权限，移除不必要的列表操作（推荐，权限范围最小） #

如果你不需要查询全量集群列表，只需要访问指定MSK集群的详情和指标，可以直接删除通配的kafka:List*动作，仅保留支持资源级限制的操作，无需配置*资源：

resource "aws_iam_role_policy" "msk_access" {
  name = "${element(split("-", var.product), 0)}-${var.env}-${var.region}-msk-access"
  role = module.instance_role.instance_role

  policy = <<EOF
{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Action": [
                "kafka:DescribeCluster",
                "kafka:DescribeClusterV2",
                "kafka:GetBootstrapBrokers",
                "cloudwatch:GetMetricStatistics",
                "cloudwatch:ListMetrics"
            ],
            "Effect": "Allow",
            "Resource": "${data.terraform_remote_state.msk_vpc[0].outputs.cluster_arn}"
        }
    ]
}
EOF
}

配置更新执行apply后，依次执行以下命令验证：

• 测试集群列表查询（方案1适用）：aws kafka list-clusters --region $REGION
• 测试指定集群详情查询：aws kafka describe-cluster --cluster-arn 你的MSK集群ARN --region $REGION
• 测试指标查询：可通过CloudWatch控制台或者AWS CLI拉取MSK的CPU、磁盘等指标验证权限正常。

内容的提问来源于stack exchange，提问作者Zhang