AWS Kinesis Data Analytics上的Flink应用能否像SQL(legacy)一样消费Firehose输入流?
KDA上的Apache Flink应用能否消费Kinesis Firehose输入流?
- 核心结论:部署在AWS Kinesis Data Analytics(KDA)上的Apache Flink应用无法直接将Kinesis Firehose作为输入流消费。
- 原因:Kinesis Firehose的设计目标是直接将数据交付至S3、Redshift等存储或分析服务,并未提供供Flink直接读取的数据流访问接口。KDA的Flink原生集成仅支持Kinesis Data Streams、Apache Kafka、Amazon S3等作为输入源。
- 可行替代方案:
- 调整数据链路:将原始数据先发送到Kinesis Data Streams,再从数据流分支:一路通过Firehose完成数据交付,另一路供KDA的Flink应用做实时处理。
- 间接读取已存储数据:若数据已通过Firehose存入S3,可让Flink应用读取S3中的数据,但这种方式更适合批量或准实时处理,无法满足低延迟流处理需求。
内容的提问来源于stack exchange,提问作者Avik Das
相关产品推荐
相关产品推荐

