如何使用Flink Stream及SQL API实现向BigQuery的流式数据写入

现有连接器说明 #

Flink官方当前没有内置支持BigQuery流式写入的Sink连接器，可通过以下几种成熟方案实现需求。

可行实现方案 #

• 方案一：直接使用第三方成熟连接器
  Apache Bahir项目提供的BigQuery Sink支持基于Legacy BigQuery streaming API的流式写入，适配DataStream API，可直接集成使用，适合中小流量、对写入成本和延迟要求不高的场景。
• 方案二：基于官方推荐的Storage Write API自定义实现Sink
  该方案是生产环境的首选，可满足高吞吐、低延迟、端到端精确一次语义的要求：
  1. 仅适配DataStream API场景：直接实现Flink的SinkFunction接口或者新版异步Sink接口即可。在open方法中初始化BigQuery Storage Write API的Java客户端，invoke方法中实现数据攒批、写入逻辑，close方法中销毁客户端资源。如果需要Exactly-Once语义，可额外实现CheckpointedFunction接口，配合Storage Write API的提交机制完成两阶段提交逻辑。
  2. 需同时支持SQL API场景：在DataStream Sink的基础上，额外实现DynamicTableSink系列接口，完成SQL表元数据解析、Flink与BigQuery数据类型映射、运行时Sink提供者逻辑即可，Flink官方文档有完整的自定义SQL Connector开发示例可供参考。

开发注意事项 #

• Storage Write API按写入的数据量计费，建议在Sink中实现合理的攒批逻辑，平衡写入延迟和使用成本。
• 要额外处理BigQuery的限流、写入失败重试等异常场景，避免任务意外报错退出。
• 生产环境使用建议开启Flink Checkpoint，配合实现精确一次语义，避免数据重复或者丢失。

内容的提问来源于stack exchange，提问作者Invisible