如何使用boto3通过前缀筛选AWS Redshift集群？

问题场景 #

我想用boto3的describe_clusters函数，通过前缀而非完整名称获取账号下所有Redshift集群。比如我有两个集群my-cluster-one和my-cluster-two，想按前缀筛选。

尝试使用通配符查询：

response = redshift_client.describe_clusters(
        ClusterIdentifier='my-cluster-*'
    )

触发错误：

"An error occurred (InvalidParameterValue) when calling the DescribeClusters operation: The parameter DBInstanceIdentifier is not a valid identifier. Identifiers must begin with a letter; must contain only ASCII letters, digits, and hyphens; and must not end with a hyphen or contain two consecutive hyphens."

去掉通配符后直接用前缀作为集群名称查询：

response = redshift_client.describe_clusters(
        ClusterIdentifier='my-cluster'
    )

又报错：

"An error occurred (ClusterNotFound) when calling the DescribeClusters operation: Cluster my-cluster not found."

确认使用完整集群名称（如my-cluster-one）时查询正常，想知道有没有通过前缀筛选集群的可行方法？

解决方案 #

boto3的describe_clusters接口本身不支持直接通过前缀或通配符筛选集群，因为ClusterIdentifier参数仅接受完整的集群名称。要实现前缀筛选，需要先获取账号下所有Redshift集群，再手动过滤出符合前缀的集群。

代码示例 #

import boto3

# 初始化Redshift客户端
redshift_client = boto3.client('redshift')

# 获取所有集群（处理分页逻辑）
all_clusters = []
response = redshift_client.describe_clusters()
all_clusters.extend(response['Clusters'])

# 若集群数量超过默认返回上限（100个），循环获取下一页
while 'Marker' in response:
    response = redshift_client.describe_clusters(Marker=response['Marker'])
    all_clusters.extend(response['Clusters'])

# 定义目标前缀
target_prefix = 'my-cluster-'

# 筛选符合前缀的集群
filtered_clusters = [
    cluster for cluster in all_clusters 
    if cluster['ClusterIdentifier'].startswith(target_prefix)
]

# 输出筛选结果
for cluster in filtered_clusters:
    print(f"匹配的集群名称: {cluster['ClusterIdentifier']}")

补充说明 #

• 当账号下集群数量超过100个时，describe_clusters会返回Marker参数，需要通过该参数循环获取剩余集群
• 如果需要更灵活的匹配规则（比如包含特定字符串、正则匹配），可以将startswith()替换为正则表达式匹配，例如：

  import re
  pattern = re.compile(r'^my-cluster-.+')
  filtered_clusters = [cluster for cluster in all_clusters if pattern.match(cluster['ClusterIdentifier'])]
  

内容的提问来源于stack exchange，提问作者Dylan Heath