如何通过AWS CLI或Terraform自动化配置AWS MSK集群的Kafka ACLs？

一、在Terraform层面定义并自动化创建Kafka ACLs #

目前AWS官方Terraform Provider没有直接管理MSK Kafka ACLs的专属资源，但可以通过null_resource配合本地执行器（local-exec），调用AWS CLI或Kafka原生工具来实现ACL的自动化创建，将ACL配置整合到基础设施即代码流程中。

示例代码 #

1. 先创建MSK集群（启用SCRAM认证为例）：

resource "aws_msk_cluster" "example" {
  cluster_name           = "msk-example-cluster"
  kafka_version          = "2.8.1"
  number_of_broker_nodes = 3

  broker_node_group_info {
    instance_type   = "kafka.m5.large"
    client_subnets = [aws_subnet.private_a.id, aws_subnet.private_b.id, aws_subnet.private_c.id]
    security_groups = [aws_security_group.msk_cluster.id]
  }

  client_authentication {
    sasl {
      scram = true
    }
  }
}

# 可选：创建SCRAM认证用户
resource "aws_msk_scram_secret" "alice" {
  cluster_arn = aws_msk_cluster.example.arn
  username    = "Alice"
  password    = "StrongPassword123!"
}

2. 通过null_resource触发ACL创建：

resource "null_resource" "msk_acl_provision" {
  # 依赖MSK集群创建完成
  depends_on = [aws_msk_cluster.example, aws_msk_scram_secret.alice]

  provisioner "local-exec" {
    command = <<EOT
      aws kafka create-acl \
        --cluster-arn ${aws_msk_cluster.example.arn} \
        --acls "[{\"Operation\":\"Read\",\"ResourceType\":\"Topic\",\"ResourceName\":\"example-topic\",\"Principal\":\"User:Alice\",\"Host\":\"*\"}]" \
        --client-request-token $(uuidgen)
    EOT
  }
}

注意事项 #

• 确保Terraform运行环境已安装AWS CLI，且拥有kafka:CreateAcl、kafka:DescribeCluster等IAM权限。
• 若使用Kafka原生kafka-acls.sh脚本，需确保运行环境能访问MSK集群的Bootstrap Servers（例如在VPC内执行、通过堡垒机代理）。
• 利用client-request-token参数保证操作幂等性，避免重复创建ACL导致报错。

二、集群启动后用AWS CLI自动化添加ACLs #

如果更倾向于将ACL配置与基础设施代码分离，可编写Shell脚本，结合Terraform输出的集群信息，批量创建ACLs，适合在CI/CD流水线中执行。

示例自动化脚本 #

#!/bin/bash
set -e

# 从Terraform输出获取MSK集群ARN
CLUSTER_ARN=$(terraform output -raw msk_cluster_arn)

# 定义批量ACL规则
ACLS_CONFIG='[
  {"Operation":"Read","ResourceType":"Topic","ResourceName":"example-topic","Principal":"User:Alice","Host":"*"},
  {"Operation":"Write","ResourceType":"Topic","ResourceName":"example-topic","Principal":"User:Bob","Host":"*"},
  {"Operation":"Create","ResourceType":"Group","ResourceName":"example-consumer-group","Principal":"User:Alice","Host":"*"}
]'

# 执行ACL创建
aws kafka create-acl \
  --cluster-arn "$CLUSTER_ARN" \
  --acls "$ACLS_CONFIG" \
  --client-request-token $(uuidgen)

执行方式 #

• 可在Terraform apply完成后直接调用该脚本。
• 集成到CI/CD流程中（如GitHub Actions、GitLab CI），确保流水线执行实体拥有对应IAM权限。

两种方案均能实现ACL创建的全自动化，无需管理员手动操作，可根据团队的基础设施管理偏好选择适配方式。

内容的提问来源于stack exchange，提问作者Roobal Jindal