Spark结构化流数据源/汇格式可用配置选项及查询渠道问询
Spark结构化流数据源/数据汇全量配置官方查询方式
所有可通过option/options传入的配置分为两类,分别从以下官方渠道查询即可:
- Spark框架侧封装的专属配置:结构化流内置数据源(含Kafka、文件、Socket、JDBC等)的读写控制配置,均可在对应使用的Spark版本官方文档的「结构化流编程指南」下的外置系统集成章节,找到对应数据源的完整配置列表,覆盖读端、写端的所有可选配置、默认值、使用限制说明。
- 数据源原生客户端配置:带数据源标识前缀的配置本质是透传给对应数据源的原生客户端,不受Spark文档枚举限制。比如Kafka场景下所有带
kafka.前缀的配置,都会直接透传给Kafka消费者/生产者客户端,完全兼容你使用的Kafka版本的所有原生客户端配置,直接查询对应Kafka版本的官方客户端配置文档即可,所有支持的原生配置加kafka.前缀后即可通过option传入生效。 - 批流共用的文件类数据源(JSON、Parquet、ORC等),结构化流场景还支持复用Spark SQL数据源章节列出的所有通用读写配置,可在对应Spark版本的SQL编程指南中查询全量配置。
你给出的示例代码中,
subscribe属于Spark封装的Kafka流读专属配置,kafka.bootstrap.servers属于透传的Kafka原生客户端配置,两类配置都属于合法可传入的配置项。
内容的提问来源于stack exchange,提问作者Scarface
相关产品推荐
相关产品推荐

