含Selenium脚本的Python流水线路径问题及ImportError求助

核心原因 #

subprocess默认调用的Python解释器，和你手动运行单个脚本时用的不是同一个环境——Selenium只装在了手动运行的那个环境里，导致流水线调用时找不到库。

具体解决方案 #

1. 指定明确的Python解释器路径 #

• 先找到你手动运行Selenium脚本时用的Python路径：
  • Linux/macOS终端执行：which python3
  • Windows命令提示符执行：where python
• 在流水线脚本的subprocess调用中，替换python/python3为这个完整路径，比如：

  import subprocess
  # 用实际查到的路径替换下面的示例路径
  subprocess.run(["/usr/local/bin/python3", "selenium_download_script1.py"], check=True)
  subprocess.run(["/usr/local/bin/python3", "selenium_download_script2.py"], check=True)
  # 后续的ipynb脚本同理，用相同的Python路径调用jupyter
  subprocess.run(["/usr/local/bin/python3", "-m", "jupyter", "nbconvert", "--to", "script", "--execute", "data_process1.ipynb"], check=True)
  

2. 用虚拟环境统一依赖环境 #

虚拟环境完全能解决这类环境不一致问题，步骤如下：

• 创建虚拟环境：

  python3 -m venv pipeline_env
  

• 激活虚拟环境：
  • Linux/macOS：source pipeline_env/bin/activate
  • Windows：pipeline_env\Scripts\activate
• 安装所有需要的依赖：

  pip install selenium pandas notebook
  

• 在激活的虚拟环境中直接运行你的流水线脚本，或者在subprocess里指定虚拟环境内的Python路径（即pipeline_env/bin/python3或pipeline_env\Scripts\python.exe）

3. 验证环境一致性 #

• 在流水线脚本开头添加代码，打印当前父进程的Python路径：

  import sys
  print(f"当前流水线使用的Python: {sys.executable}")
  

• 同时在subprocess中加入验证命令，检查调用的Python环境：

  subprocess.run(["python3", "-c", "import sys; print('subprocess使用的Python:', sys.executable); import selenium; print('Selenium版本:', selenium.__version__)"], check=True)
  

对比两个输出的路径，如果不一致，就说明是环境问题，按上面的方法修正即可。

内容的提问来源于stack exchange，提问作者Juan María Rodríguez Cabral