Anaconda运行Spark Connect及Ubuntu Spark Pandas依赖问题排查

Windows Anaconda 环境问题：$HOME 不是内部或外部命令 #

问题描述 #

在Windows Anaconda环境的Jupyter Notebook中执行Spark Connect启动命令时，$HOME变量无法被识别，报错提示该命令不存在，已在Anaconda Prompt中设置HOME变量但无效。

解决方法 #

• 直接使用绝对路径替换$HOME
  Windows的Jupyter环境不兼容Unix风格的$HOME变量，直接替换为你的Spark Connect实际路径即可：

  !C:\Users\name\anaconda3\envs\pyspark_env\Lib\site-packages\pyspark/sbin/start-connect-server.sh --packages org.apache.spark:spark-connect_2.12:$SPARK_VERSION
  

• 验证Jupyter中的环境变量是否生效
  在Jupyter代码单元格中先执行!echo %HOME%，如果输出为空，说明Jupyter未加载Anaconda Prompt的环境变量，可临时设置：

  !set HOME=C:\Users\name\anaconda3\envs\pyspark_env\Lib\site-packages\pyspark
  

  执行完上述命令后再运行Spark Connect启动脚本。
• 改用Anaconda Prompt直接执行命令
  打开Anaconda Prompt，激活目标环境后直接操作：

  conda activate pyspark_env
  cd C:\Users\name\anaconda3\envs\pyspark_env\Lib\site-packages\pyspark\sbin
  start-connect-server.sh --packages org.apache.spark:spark-connect_2.12:$SPARK_VERSION
  

Ubuntu 环境问题：Pandas已安装但仍报ImportError #

问题描述 #

在Ubuntu环境的Spark文件夹中执行spark = SparkSession.builder.getOrCreate()时，提示Pandas版本不足，但已通过pip安装Pandas。

解决方法 #

• 确认Spark绑定的Python环境
  执行以下命令检查Spark使用的Python路径和当前pip对应的Python路径是否一致：

  which python
  which spark-submit
  

  如果路径不同，设置SPARK_PYTHON环境变量指定正确的Python路径：

  export SPARK_PYTHON=/path/to/your/python/env/bin/python
  

  设置完成后重新启动Spark。
• 向Spark的Python环境安装Pandas
  如果Spark使用独立的Python环境，直接用该环境的pip安装：

  /path/to/spark/python/env/bin/pip install pandas>=1.0.5
  

• 在代码中指定Python路径
  在创建SparkSession前添加环境变量配置：

  import os
  os.environ['SPARK_PYTHON'] = '/path/to/your/python/env/bin/python'
  from pyspark.sql import SparkSession
  spark = SparkSession.builder.getOrCreate()
  

内容的提问来源于stack exchange，提问作者Tom Tom