Spark RAPIDS GPU安装疑问：Python用户需选Scala 2.12吗？

核心答案 #

不用非得选Scala 2.12，纯Python开发完全可以在Scala 2.13版本的Spark 3.3上使用RAPIDS GPU加速器。

详细说明 #

• Scala版本的适配逻辑：RAPIDS文档里标注的支持Scala 2.12，是指官方预编译的jar包基于Scala 2.12环境编译。但Spark 3.3本身同时兼容Scala 2.12和2.13，只要你能获取到适配Scala 2.13的RAPIDS jar包（官方部分版本会提供多Scala版本预编译包，没有的话也可自行从源码编译），就能完成对接。
• Python开发的独立性：PySpark是基于Spark Java/Scala内核封装的上层API，只要内核层能与RAPIDS兼容，Python代码不需要做任何特殊修改，就能直接调用GPU加速能力。你日常编写的DataFrame、SQL操作，只要属于RAPIDS支持的算子范围，都会自动跑在GPU上。

实操步骤参考 #

1. 部署Scala 2.13版本的Spark 3.3集群；
2. 获取对应Spark 3.3版本、以Scala 2.13编译的rapids-4-spark jar包；
3. 在Spark配置文件（如spark-defaults.conf）中添加基础GPU配置：

   spark.plugins=com.nvidia.spark.SQLPlugin
   spark.executor.resource.gpu.amount=1
   spark.task.resource.gpu.amount=0.5
   

   （可根据集群2块GPU的实际情况调整资源分配参数）；
4. 正常编写PySpark代码即可，无需额外适配，符合RAPIDS支持范围的操作会自动启用GPU加速。

内容的提问来源于stack exchange，提问作者chpiero