通过pip安装pyspark后spark-defaults.conf修改位置及SPARK_HOME配置咨询

1. spark-defaults.conf的查找与修改方法 #

通过pip安装的PySpark默认不会生成可直接编辑的spark-defaults.conf文件，你可以按以下两种方式处理：

• 用官方自带模板生成：进入你当前的SPARK_HOME路径下的conf子目录，找到名为spark-defaults.conf.template的模板文件，执行复制重命名操作即可：

  cd ~/miniconda3/envs/pyspark/lib/python3.9/site-packages/pyspark/conf
  cp spark-defaults.conf.template spark-defaults.conf
  

  后续直接修改新生成的spark-defaults.conf即可生效。
• 自定义配置文件路径：你也可以把配置文件放在任意你方便管理的路径，启动Spark任务时通过--properties-file参数指定配置文件路径即可，示例：

  spark-submit --properties-file /home/your_custom_path/spark-defaults.conf your_task.py
  

2. SPARK_HOME路径设置是否正确 #

你当前设置的SPARK_HOME路径是完全正确的。通过conda环境内的pip安装的PySpark，默认根路径就是~/miniconda3/envs/[环境名]/lib/python[版本号]/site-packages/pyspark，和你当前的配置一致。
如果你需要验证路径正确性，可以在激活pyspark conda环境后执行以下Python代码确认：

import pyspark
print(pyspark.__file__.rstrip("__init__.py"))

输出结果和你当前配置的SPARK_HOME路径一致即为正确。

内容的提问来源于stack exchange，提问作者figs_and_nuts