咨询Spark Streaming至Google BigQuery的开源流数据连接器

嗨，针对你的问题，我来梳理一下目前可用的靠谱方案：

一、是否存在对应的连接器？ #

当然有！而且有官方维护的可靠选项，完全能满足 Spark Streaming 流式传输数据到 BigQuery 的需求。

二、合适的开源连接器推荐 #

1. Google 官方 Spark-BigQuery 连接器 #

这是目前最推荐的选择，优势非常明显：

• 完全支持 Spark Structured Streaming（现在更推荐使用这个替代传统的 DStream API），原生支持流式写入 BigQuery
• 兼容多种数据格式，包括 Avro、Parquet、ORC、CSV 等，不止局限于单一格式
• 提供两种写入策略：直接写入 BigQuery 表（适合小流量场景），或者先写入 GCS 再批量加载到 BigQuery（适合高吞吐流式场景）
• 配置简单，举个 Scala 代码的示例：

  // 读取流数据（示例）
  val streamDF = spark.readStream
    .format("kafka")
    .option("kafka.bootstrap.servers", "host:port")
    .option("subscribe", "topic")
    .load()
  
  // 流式写入 BigQuery
  streamDF.writeStream
    .format("bigquery")
    .option("table", "your-project.your-dataset.your-table")
    .option("checkpointLocation", "/path/to/gcs/checkpoint") // 必须配置 checkpoint 保证容错
    .start()
    .awaitTermination()
  

• 官方积极维护，基于 Apache 2.0 许可证开源，能及时适配 Spark 和 BigQuery 的新版本

2. 关于 Spotify 的连接器 #

你提到的 Spotify 连接器确实存在，但正如你观察到的，它已经停止积极维护了，而且仅支持 Avro 格式，灵活性和稳定性都不足，不建议在生产环境中使用。

小提示 #

如果还在使用传统的 DStream 旧版 Spark Streaming API，官方连接器也可以通过一些适配实现写入，但更建议迁移到 Structured Streaming——它的流式处理模型更成熟，与 BigQuery 的集成也更顺畅。

内容的提问来源于stack exchange，提问作者marknorkin