如何在保留Spark配置的VSCode中导入Anaconda Pandas模块

问题根源是你配置的Spark相关路径在PYTHONPATH中优先级高于Anaconda的site-packages，导致Python解释器优先找到pyspark.pandas而非原生Pandas。以下是几种无需取消Spark配置的解决办法：

方法1：调整VSCode全局PYTHONPATH顺序 #

修改settings.json中的terminal.integrated.env.windows配置，将Anaconda的site-packages路径放到PYTHONPATH最前面，确保原生Pandas的路径被优先搜索：

"terminal.integrated.env.windows": {
    "PYTHONPATH": "C:\\Anaconda3\\Lib\\site-packages;C:/spark-3.4.1-bin-hadoop3/python;C:/spark-3.4.1-bin-hadoop3/python/pyspark;C:/spark-3.4.1-bin-hadoop3/python/lib/py4j-0.10.9.7-src.zip;C:/spark-3.4.1-bin-hadoop3/python/lib/pyspark.zip"
},

修改后重启VSCode终端，运行导入代码即可生效。

方法2：在代码中临时调整模块搜索路径 #

如果不想修改全局配置，可在代码开头手动将Anaconda的site-packages路径插入到模块搜索路径的最顶端：

import sys
# 插入Anaconda原生Pandas所在路径
sys.path.insert(0, "C:\\Anaconda3\\Lib\\site-packages")
import pandas as pd

# 验证是否导入成功
print(pd.__file__)  # 输出应为 C:\Anaconda3\Lib\site-packages\pandas\__init__.py

方法3：使用importlib直接加载指定模块 #

通过importlib工具直接加载Anaconda路径下的Pandas模块，彻底避免路径冲突：

import importlib.util
import sys

# 指定原生Pandas的__init__.py路径
pandas_path = "C:\\Anaconda3\\Lib\\site-packages\\pandas\\__init__.py"
spec = importlib.util.spec_from_file_location("pandas", pandas_path)
pandas = importlib.util.module_from_spec(spec)
sys.modules["pandas"] = pandas
spec.loader.exec_module(pandas)

# 正常使用原生Pandas
pd = pandas
print(pd.__file__)

内容的提问来源于stack exchange，提问作者Joseph Hwang