Spark DSv2中Options与Properties的区别及数据源开发资料咨询

嗨，我刚好在折腾Spark DSv2数据源的时候也纠结过这个问题，来给你好好梳理下这俩的区别，顺便分享些实用的开发资料～

一、Options和Properties的核心区别 #

1. 生命周期与用途本质 #

• Options是单次读写会话的临时参数：你调用.option("foo", "bar")传入的参数，只对当前这一次read/write操作生效，不会被持久化到元数据中。比如读文件时指定的路径、Kafka的topic名称，都是用来临时定位资源或调整本次读写行为的。
• Properties是表级别的持久化配置：通常是在CREATE TABLE语句中通过TBLPROPERTIES设置的，会被存储到元数据（比如Hive Metastore）里。后续每次访问这个表时，这些参数都会自动传递给getTable方法，属于表的“固有属性”。

2. 大小写处理规则 #

• Options是CaseInsensitiveStringMap：不管用户传入的是"Foo"还是"foo"，最终都会被统一处理成大小写无关的key，能兼容用户随手输入的大小写不统一的情况。
• Properties是普通的Map<String, String>：严格保留用户指定的大小写，因为它是表元数据的一部分，需要精准匹配建表时的配置键名。

3. 实际使用优先级 #

在很多DSv2数据源的实现里，会遵循「临时参数优先」的规则：如果Options和Properties里有同名参数（注意大小写对Properties的影响），会优先使用Options里的临时值，覆盖Properties的持久化配置。

二、关于DSv2数据源开发的实用资料 #

你说找不到详细的开发资料确实是个痛点，我整理了几个靠谱的学习渠道：

• Spark源码中的接口注释：直接看TableProvider、ReadSupport、WriteSupport这些核心接口的Javadoc，里面藏了很多官方没写进文档的细节，是最权威的参考。
• 官方内置数据源实现：参考Spark自带的DSv2数据源，比如FileSystemTableProvider（对应文件系统）、KafkaTableProvider（对应Kafka），看它们怎么处理Options和Properties、怎么实现Schema推断和表操作，读源码是最快的上手方式。
• 社区技术博客：Databricks的技术博客里有几篇专门讲DSv2设计理念和开发实践的文章，能帮你理解DSv2的整体架构设计。

你提到的那篇关于tblproperties的文档，其实就是对应这里的Properties——它讲的是建表时持久化的表属性，和Options的临时会话参数完全是两个范畴，这样对比下来应该就清晰多啦～

内容来源于stack exchange