Terraform启用Kinesis Firehose动态分区时报InvalidArgumentException错误

报错信息 #

Error: error creating Kinesis Firehose Delivery Stream: InvalidArgumentException: Dynamic Partitioning Namespaces can only be part of a prefix expression when Dynamic Partitioning is enabled.

核心排查点（按出现概率从高到低排序） #

• 漏配独立的dynamic_partitioning_configuration块
  90%的该报错都是这个原因：仅将processing_configuration.enabled设为true不会开启动态分区。Terraform AWS Provider要求必须在资源顶层单独声明dynamic_partitioning_configuration配置块，且块内enabled = true，否则传给AWS API的请求参数里不会携带动态分区启用标识，哪怕你配了处理器、写了分区前缀，后端也会判定动态分区未开启。
• processing_configuration内缺少必填的元数据提取处理器
  开启动态分区不能只空设processing_configuration.enabled = true，必须在块内嵌套processors块，指定处理器类型为MetadataExtraction，同时配置正确的JSON解析引擎、分区键提取规则。如果处理器类型错写为Lambda、RecordDeAggregation等其他类型，或者没有配置提取规则，后端同样识别不到动态分区配置。
• 前缀占位符与分区键配置不匹配
  如果你在extended_s3_configuration的prefix、error_output_prefix参数中使用了!{partitionKeyFromQuery:xxx}这类动态分区命名空间占位符，要保证占位符里引用的分区键，和MetadataExtraction处理器里定义的提取字段完全一致，不能存在未定义的占位符。注意不要漏查error_output_prefix，很多人只校验了业务前缀，错误输出前缀里残留了动态分区变量也会触发报错。
• AWS Provider版本过低
  dynamic_partitioning_configuration配置块在AWS Provider 4.0及以上版本才稳定支持，3.x及更早版本无法识别该配置块，执行plan/apply时会自动忽略该段配置，最终传给API的请求缺失开启动态分区的参数。建议将Provider升级到4.67+或5.x稳定版本后重新执行部署。

最小可用正确配置示例 #

terraform {
  required_providers {
    aws = {
      source  = "hashicorp/aws"
      version = "~> 5.0"
    }
  }
}

resource "aws_kinesis_firehose_delivery_stream" "test_stream" {
  name        = "dynamic-partition-demo-stream"
  destination = "extended_s3"

  # 必须单独声明动态分区启用块
  dynamic_partitioning_configuration {
    enabled = true
  }

  extended_s3_configuration {
    role_arn   = aws_iam_role.firehose_role.arn
    bucket_arn = aws_s3_bucket.target_bucket.arn
    # 动态分区前缀示例，引用的分区键要和下方提取规则一致
    prefix             = "service=logs/year=!{partitionKeyFromQuery:year}/month=!{partitionKeyFromQuery:month}/"
    error_output_prefix = "errors/year=!{partitionKeyFromQuery:year}/"
    buffer_size        = 64
    buffer_interval    = 60

    processing_configuration {
      enabled = true
      # 必须配置元数据提取处理器
      processors {
        type = "MetadataExtraction"
        parameters {
          parameter_name  = "JsonParsingEngine"
          parameter_value = "JQ-1.6"
        }
        parameters {
          parameter_name  = "MetadataExtractionQuery"
          parameter_value = "{year:.timestamp | strftime(\"%Y\"), month:.timestamp | strftime(\"%m\")}"
        }
      }
    }
  }
}

排查操作步骤 #

1. 先执行terraform state show aws_kinesis_firehose_delivery_stream.你的资源名，确认输出的配置里存在dynamic_partitioning_configuration段，且enabled为true，排除配置被忽略、参数拼写错误的问题
2. 检查processing_configuration下的处理器类型是否为MetadataExtraction，提取规则里的字段和前缀里的占位符一一对应
3. 检查error_output_prefix是否存在未定义的动态分区占位符
4. 执行terraform version确认AWS Provider版本符合要求，版本过低先升级Provider、重新执行terraform init后再部署

内容的提问来源于stack exchange，提问作者Anonymous