问询：在Dataproc运行Spark时，Google Cloud Pub/Sub是否支持Spark Structured Streaming

核心结论 #

在Google Cloud Dataproc上运行原生Apache Spark时，普通Google Cloud Pub/Sub（非Pub/Sub Lite）没有官方支持的Spark Structured Streaming连接器，无法直接作为Structured Streaming的数据源使用。

相关细节说明 #

• 普通Pub/Sub：现有技术讨论和Google Cloud Dataproc连接器项目的问题记录均显示，它并未适配Spark Structured Streaming，缺乏对应的官方支持能力。
• Pub/Sub Lite：拥有正式发布的Spark Structured Streaming连接器，可在Dataproc环境中完全支持Structured Streaming的消息处理流程。
• Databricks的特殊情况：Databricks作为托管Spark服务，自身实现了Pub/Sub与Structured Streaming的适配，但该适配是Databricks专属，不能直接迁移到原生Dataproc的Spark环境中。

内容的提问来源于stack exchange，提问作者user16798185