使用AWS TypeScript CDK配置DynamoDB->Kinesis数据流->Kinesis Firehose->S3->Redshift链路时遇KinesisSourceStreamConfig错误

这个错误的根源很明确：你创建的Firehose Delivery Stream默认采用Direct PUT类型（直接接收数据输入），但你同时配置了kinesisStreamSourceConfiguration——这个配置项只允许用于以Kinesis Stream作为数据源的Delivery Stream（类型为KinesisStreamAsSource），两者的类型冲突导致了API报错。

修复步骤 #

你只需要在CfnDeliveryStream的定义中，显式指定Delivery Stream的类型为KinesisStreamAsSource即可。具体修改如下：

const firehoseDeliveryStream = new firehose.CfnDeliveryStream(this, 'Delivery Stream', {
  // 新增这一行，明确指定数据源类型
  deliveryStreamType: 'KinesisStreamAsSource',
  redshiftDestinationConfiguration: {
    clusterJdbcurl: 'jdbc:redshift://redshift-cluster-1.cicrdvtr7ouk.us-east-1.redshift.amazonaws.com:5439/dev',
    username: 'admin',
    password: '2131636+aA',
    roleArn: 'arn:aws:iam::207627709836:role/service-role/KinesisFirehoseServiceRole-KDS-RED-vTWqG-us-east-1-1630965194702',
    copyCommand: {
      dataTableName: 'users_test',
      copyOptions: 'format as json \'auto\''
    },
    s3Configuration: {
      bucketArn: bucket.bucketArn,
      roleArn: deliveryStreamRole.roleArn
    },
  },
  kinesisStreamSourceConfiguration: {
    kinesisStreamArn: dataStream.streamArn,
    roleArn: deliveryStreamRole.roleArn
  },
});

额外检查事项 #

• IAM角色权限：确保deliveryStreamRole拥有足够的权限：
  • 读取指定Kinesis Stream的权限（kinesis:DescribeStream, kinesis:GetRecords, kinesis:GetShardIterator）
  • 写入目标S3桶的权限（s3:PutObject等）
    你可以通过添加以下策略完善角色权限：

  deliveryStreamRole.addToPolicy(new iam.PolicyStatement({
    actions: [
      "kinesis:DescribeStream",
      "kinesis:GetRecords",
      "kinesis:GetShardIterator"
    ],
    resources: [dataStream.streamArn]
  }));
  
  deliveryStreamRole.addToPolicy(new iam.PolicyStatement({
    actions: [
      "s3:PutObject"
    ],
    resources: [`${bucket.bucketArn}/*`]
  }));
  

• Redshift服务角色：你指定的Redshift相关角色（roleArn）需要拥有读取S3桶数据以及执行Redshift COPY命令的权限，确保这个角色的配置正确。

这样修改后，Firehose就能正确识别你的Delivery Stream是以Kinesis Stream为数据源，从而接受kinesisStreamSourceConfiguration的配置，数据流转链路就能正常创建了。

内容的提问来源于stack exchange，提问作者Omar Shrbaji