Python虚拟环境中PySpark UDF无法识别已安装的geocoder模块求助

问题描述 #

本地Python虚拟环境已安装geocoder模块，单独执行g = geocoder.osm(address, method='reverse')可正常运行，代码在Colab环境中也能正常执行，但本地运行df_2.show()时，触发ModuleNotFoundError: No module named 'geocoder'错误。

排查与解决步骤 #

• 确认PySpark绑定的Python环境与虚拟环境一致
  PySpark默认可能调用系统全局Python，而非你的虚拟环境。需强制指定虚拟环境的Python路径：

  • 启动脚本前设置环境变量（Linux/macOS）：

    export PYSPARK_PYTHON=/path/to/your/venv/bin/python
    export PYSPARK_DRIVER_PYTHON=/path/to/your/venv/bin/python
    

    Windows系统：

    set PYSPARK_PYTHON=C:\path\to\your\venv\Scripts\python.exe
    set PYSPARK_DRIVER_PYTHON=C:\path\to\your\venv\Scripts\python.exe
    

  • 或在代码开头直接设置：

    import os
    os.environ['PYSPARK_PYTHON'] = '/path/to/your/venv/bin/python'
    os.environ['PYSPARK_DRIVER_PYTHON'] = '/path/to/your/venv/bin/python'
    
    from pyspark.sql import SparkSession
    spark = SparkSession.builder.getOrCreate()
    

    虚拟环境的Python路径可通过激活虚拟环境后执行which python（Linux/macOS）或where python（Windows）获取。

• 将geocoder包分发到Spark执行节点
  即使本地模式运行，Spark的executor进程可能无法直接读取虚拟环境的依赖包，需手动分发：

  1. 找到geocoder的安装目录：激活虚拟环境后执行pip show geocoder，复制Location字段的路径。
  2. 进入该目录，将geocoder文件夹打包为zip：

     cd /path/from/pip/show/location
     zip -r geocoder.zip geocoder/
     

  3. 启动PySpark时携带包：

     pyspark --py-files geocoder.zip
     

     或在代码中添加依赖：

     spark = SparkSession.builder.appName("GeocodeJob").getOrCreate()
     spark.addPyFile("/path/to/geocoder.zip")
     

• 确认运行脚本时虚拟环境已激活
  执行PySpark脚本前，必须确保激活了安装geocoder的虚拟环境：

  source /path/to/your/venv/bin/activate  # Linux/macOS
  .\path\to\your\venv\Scripts\activate    # Windows
  python your_spark_script.py
  

• 验证executor使用的Python环境
  可通过UDF输出executor的Python路径，确认是否与虚拟环境匹配：

  from pyspark.sql.functions import udf
  import sys
  
  @udf("string")
  def get_executor_python_path():
      return sys.executable
  
  df.withColumn("executor_python", get_executor_python_path()).show(5)
  

  若输出路径非虚拟环境Python路径，需重新调整PYSPARK_PYTHON环境变量。

内容的提问来源于stack exchange，提问作者Mee