VSCode Jupyter Notebook中PySpark DataFrame无法显示问题排查

我尝试在PySpark中创建DataFrame，完成所有步骤后，程序执行df.show()时抛出错误。

操作步骤 #

• 在VSCode中打开新文件夹，创建虚拟环境：

  python -m venv .venv
  .venv\Scripts\activate
  

• 执行命令 pip install pyspark 安装PySpark。
• 创建ques1.py文件，编写代码创建SparkSession并生成DataFrame，执行df.show()时出错；添加以下环境变量配置代码后可正常输出：

  import sys
  import os
  
  os.environ["PYSPARK_PYTHON"] = sys.executable
  os.environ["PYSPARK_DRIVER_PYTHON"] = sys.executable
  

• 创建ques2.ipynb文件，已添加上述环境变量配置，但执行df.show(truncate=False)时仍抛出Py4JJavaError，错误提示为找不到python3，该错误与未添加配置时的ques1.py错误一致。

环境信息 #

• Python 3.8.10
• PySpark 3.5.1

内容的提问来源于stack exchange，提问作者Abhinav