PySpark报错：No module named pyspark及genericFunc引用问题求助

错误1：Unresolved reference 'genericFunc' #

问题原因 #

1. genericFunc.py与main.py不在同一目录，或PyCharm未将该目录标记为源码根目录
2. 导入语句错误：genericFunc.py中没有名为genericFunction的类/模块，只有独立的函数（start_data_pipeline、read_json等）

解决步骤 #

1. 检查文件结构：确保genericFunc.py和main.py在同一级目录下。如果不在，右键点击genericFunc.py所在目录 → 选择Mark Directory as → Sources Root
2. 修正导入语句：根据需求选择以下两种方式之一：
   • 导入整个模块：

     # 替换原导入语句
     import genericFunc
     from config import constants
     
     spark = genericFunc.start_data_pipeline()
     inputDf = genericFunc.read_json(constants.INPUT_FOLDER_PATH+"file-000.json")
     inputDf1 = genericFunc.read_json(constants.INPUT_FOLDER_PATH+"file-001.json")
     

   • 直接导入需要的函数：

     # 替换原导入语句
     from genericFunc import start_data_pipeline, read_json
     from config import constants
     
     spark = start_data_pipeline()
     inputDf = read_json(constants.INPUT_FOLDER_PATH+"file-000.json")
     inputDf1 = read_json(constants.INPUT_FOLDER_PATH+"file-001.json")
     

错误2：ImportError: No module named pyspark #

问题原因 #

1. 项目虚拟环境未正确安装pyspark包
2. SPARK_HOME路径配置错误（Windows系统误用Linux路径）或配置时机晚于pyspark导入语句
3. PyCharm解释器未关联正确的虚拟环境或Spark的Python包

解决步骤 #

1. 确保虚拟环境安装pyspark：打开PyCharm终端，激活项目虚拟环境，执行命令：

   pip install pyspark
   

2. 修正环境变量配置：将SPARK_HOME配置放在代码最顶部，且使用对应系统的正确路径（Windows示例）：

   import os
   import sys
   
   # Windows系统Spark路径，根据实际安装位置修改
   os.environ["SPARK_HOME"] = "C:\\spark"
   # 指定PySpark使用的Python解释器，与项目虚拟环境一致
   os.environ["PYSPARK_PYTHON"] = sys.executable
   os.environ["PYSPARK_DRIVER_PYTHON"] = sys.executable
   
   # 之后再导入pyspark相关模块
   from pyspark import SparkContext
   from pyspark.sql import SparkSession
   from pyspark.sql.types import *
   import pyspark.sql.functions as F
   

3. 检查PyCharm解释器配置：
   • 打开File → Settings → Project: 你的项目名 → Python Interpreter
   • 确认当前使用的是项目的虚拟环境，且解释器列表中存在pyspark包
4. 如果使用系统安装的Spark（非pip安装）：手动添加Spark的Python路径到系统路径：

   import os
   import sys
   
   SPARK_HOME = "C:\\spark" # 你的Spark安装路径
   # 添加Spark的Python目录和py4j包路径
   sys.path.append(os.path.join(SPARK_HOME, 'python'))
   # 替换为你Spark目录下实际的py4j文件名
   sys.path.append(os.path.join(SPARK_HOME, 'python/lib/py4j-0.10.9.7-src.zip'))
   
   from pyspark import SparkContext
   

内容的提问来源于stack exchange，提问作者TULSI