如何将spark-tss库添加至Spark Shell并配置依赖？

要在Spark Shell中使用spark-tss库，最直接的方式是启动Shell时指定依赖和对应仓库，也可以通过配置文件实现永久生效，下面是具体步骤：

方法1：启动Spark Shell时直接指定依赖（推荐快捷方式） #

Spark Shell支持通过--packages参数拉取Maven格式的依赖，同时用--repositories指定该库所在的自定义仓库（因为它不在Maven中央仓库）。

直接执行以下命令即可：

spark-shell --packages com.github.unsupervise:spark-tss_2.11:0.1.1 --repositories https://dl.bintray.com/unsupervise/maven/

• --packages后的参数是标准的Maven依赖坐标：groupId:artifactId:version，这里注意spark-tss_2.11中的_2.11对应Scala 2.11版本，必须和你的Spark所使用的Scala版本保持一致。
• --repositories指定了该库存放的Bintray仓库地址，确保Spark能找到并下载这个依赖。

方法2：通过配置文件永久生效 #

如果希望每次启动Spark Shell都自动加载这个库，可以修改Spark的spark-defaults.conf配置文件：

1. 找到Spark安装目录下的conf文件夹（如果没有spark-defaults.conf，可以复制spark-defaults.conf.template并重命名）
2. 在文件中添加以下配置：

spark.jars.packages com.github.unsupervise:spark-tss_2.11:0.1.1
spark.jars.repositories https://dl.bintray.com/unsupervise/maven/

3. 保存配置后，下次启动Spark Shell时就会自动加载spark-tss库了。

额外注意事项 #

• 若你的Spark基于Scala 2.12编译，需要确认是否有spark-tss_2.12版本的库可用，若有则替换依赖坐标里的Scala版本号。
• 第一次启动时Spark会自动下载依赖包到本地缓存，后续启动会直接使用缓存文件，无需重复下载。

内容的提问来源于stack exchange，提问作者zekri sidi mohamed hicham