You need to enable JavaScript to run this app.
优惠活动
大模型
产品
解决方案
定价
更多

Spark结构化流数据源/汇格式可用配置选项及查询渠道问询

Spark结构化流数据源/数据汇全量配置官方查询方式

所有可通过option/options传入的配置分为两类,分别从以下官方渠道查询即可:

  • Spark框架侧封装的专属配置:结构化流内置数据源(含Kafka、文件、Socket、JDBC等)的读写控制配置,均可在对应使用的Spark版本官方文档的「结构化流编程指南」下的外置系统集成章节,找到对应数据源的完整配置列表,覆盖读端、写端的所有可选配置、默认值、使用限制说明。
  • 数据源原生客户端配置:带数据源标识前缀的配置本质是透传给对应数据源的原生客户端,不受Spark文档枚举限制。比如Kafka场景下所有带kafka.前缀的配置,都会直接透传给Kafka消费者/生产者客户端,完全兼容你使用的Kafka版本的所有原生客户端配置,直接查询对应Kafka版本的官方客户端配置文档即可,所有支持的原生配置加kafka.前缀后即可通过option传入生效。
  • 批流共用的文件类数据源(JSON、Parquet、ORC等),结构化流场景还支持复用Spark SQL数据源章节列出的所有通用读写配置,可在对应Spark版本的SQL编程指南中查询全量配置。

你给出的示例代码中,subscribe属于Spark封装的Kafka流读专属配置,kafka.bootstrap.servers属于透传的Kafka原生客户端配置,两类配置都属于合法可传入的配置项。


内容的提问来源于stack exchange,提问作者Scarface

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.09.26 00:36:03