PySpark连接远程Redis报ClassNotFoundException的解决办法

这个错误的核心原因很明确：你的Spark环境中没有引入Spark-Redis连接器的依赖包——Spark本身并不自带这个第三方数据源的实现，所以找不到org.apache.spark.sql.redis这个类。

下面是几种针对性的解决方法，你可以根据自己的使用场景选择：

1. 交互式PySpark环境中引入依赖 #

如果你是直接用pyspark命令启动交互式环境，启动时添加--packages参数指定Spark-Redis的依赖：

pyspark --packages com.redislabs:spark-redis_2.12:3.1.0

注意：_2.12是Scala的版本号，要和你Spark安装时使用的Scala版本一致；3.1.0是Spark-Redis的版本，需要和你的Spark版本匹配（比如Spark 3.x对应3.x系列的Spark-Redis，Spark 2.4对应2.x系列）。

2. Spark Submit提交脚本时引入依赖 #

如果是编写好Python脚本后用spark-submit运行，同样在命令中加入--packages参数：

spark-submit --packages com.redislabs:spark-redis_2.12:3.1.0 your_spark_script.py

3. Maven项目中配置依赖（若用Maven管理） #

因为你的服务器已经配置了Maven，如果是Java/Scala的Spark项目，或者需要预先打包依赖，可以在pom.xml中添加以下依赖配置：

<dependency>
    <groupId>com.redislabs</groupId>
    <artifactId>spark-redis_2.12</artifactId>
    <version>3.1.0</version>
</dependency>

配置后执行Maven构建，依赖会自动下载并引入到项目中。

关键注意点 #

一定要确保Spark版本和Spark-Redis版本兼容，比如：

• Spark 3.0+ → Spark-Redis 3.x
• Spark 2.4 → Spark-Redis 2.x
  版本不匹配可能会引发其他兼容性问题。

添加依赖后，重新启动SparkSession并执行你的数据保存命令，应该就能正常连接Redis进行读写操作了。

内容的提问来源于stack exchange，提问作者Jose Gutierrez