是否可将gRPC服务用作Apache Beam的数据源与数据汇？

完全可以，Apache Beam 不强制要求数据源、数据汇必须绑定计算侧的持久化存储，你完全可以通过自定义IO连接器的方式，将对接云数据库的gRPC服务作为唯一的读写入口，不需要额外依赖其他持久化组件。

作为数据源（读端） #

• 如果是批量读取固定范围的数据集，实现Beam的BoundedSource抽象类即可，所有数据拉取逻辑全部封装在gRPC客户端调用里，直接从你的gRPC服务拉取数据生成PCollection，计算侧不需要落地存储任何原始数据。
• 如果是持续读取流式增量数据，实现UnboundedSource抽象类，通过gRPC流式调用拉取持续更新的数据即可。
• 注意gRPC客户端实例不要随Source/DoFn序列化传输，要在worker端初始化，和worker生命周期绑定，避免序列化报错。

作为数据汇（写端） #

• 直接基于DoFn实现写入逻辑即可，在@ProcessElement方法中将处理完成的记录通过gRPC客户端调用后端服务的写入接口，由gRPC服务自身负责将数据持久化到云数据库，计算侧不需要做任何落盘操作。
• 如果需要保证端到端Exactly-Once语义，可以给gRPC写入接口增加幂等校验逻辑，同时配合Beam的窗口触发机制做批量提交，故障重试时不会产生重复数据。

• 提前给gRPC客户端配置好连接池、超时、重试、限流策略，Beam分布式运行时会有多个worker并发发起gRPC请求，避免压垮后端gRPC服务。
• 流式读取场景下要做好checkpoint适配：将当前读取的游标/偏移量存储在Beam的托管状态中，故障重启时将游标传给gRPC服务，从断点位置续读即可，不需要全量重拉数据。
• 整个Beam作业的IO路径全部走gRPC调用，不要在转换逻辑中加入本地磁盘、本地数据库等持久化读写逻辑，就能满足你不依赖额外持久化存储的要求。

内容的提问来源于stack exchange，提问作者mat_vee