用于外部数据访问的Asynchronous I/O Flink API 是否支持Beam问询
Flink Async I/O 在Apache Beam中的支持说明
- Beam本身没有提供与Flink原生Async I/O API直接对应的跨Runner标准API,不支持直接将Flink原生异步IO代码嵌入Beam管道运行。
- 你可以遵循Beam的API规范实现异步处理逻辑:在
ParDo的ProcessElement方法中使用外部系统的异步客户端发起请求,通过异步Future管理请求生命周期。当你选择Flink作为执行Runner运行管道时,Flink Runner底层会自动将这类异步处理逻辑适配到Flink原生的Async I/O机制上,可获得与原生Flink异步IO代码完全一致的性能收益。 - 上述适配能力已经纳入Beam Flink Runner的正式功能范围,不属于实验性特性,在符合版本兼容性要求的稳定版Beam发行版中均可稳定使用。
内容的提问来源于stack exchange,提问作者Giuseppe
相关产品推荐
相关产品推荐

