以MSK为源、Lambda为转换器的Firehose是否支持动态分区?
关于MSK源搭配Lambda转换器的Firehose动态分区支持情况
结论:以MSK作为数据源的Kinesis Firehose流目前不支持动态分区功能,具体依据如下:
- 控制台配置限制:创建Firehose流选择MSK作为数据源时,界面中无「启用动态分区」的选项;切换为其他数据源(如Kinesis Data Streams、Direct PUT)时,该选项正常显示,这是产品层面的功能限制。
- 配置验证报错:若手动设置S3前缀包含
!{partitionKeyFromLambda:keyID}格式,会触发系统报错:动态分区未启用,因此前缀不能包含!{partitionKeyFromQuery:keyID}或!{partitionKeyFromLambda:keyID}
该报错直接验证了MSK源的Firehose无法启用动态分区,即使尝试自定义前缀格式也会被系统拦截。
补充说明:尽管官方文档未明确标注MSK不支持动态分区,但结合控制台功能缺失与实际配置报错,可确认当前该组合不支持该功能。若需实现类似分区效果,可考虑在Lambda转换器中自行处理数据分区逻辑,或先将MSK数据同步至Kinesis Data Streams,再基于该数据源配置Firehose动态分区。
内容的提问来源于stack exchange,提问作者SWA PSTG
相关产品推荐
相关产品推荐

