如何实现多终端完全并行运行Python编写的网页爬虫程序

可行性结论 #

完全可以用Java实现需求，注意必须用Java多进程能力实现，Java多线程无法满足「独立终端运行」的要求。
这类并行启动独立任务的需求没有语言限制，所有具备系统级进程调用能力的通用编程语言都可以实现，不存在必须绑定特定框架/语言的要求。

具体实现步骤 #

第一步：修正示例爬虫代码 #

你提供的Python爬虫存在重复初始化WebDriver的问题，第一次初始化没有传入配置参数，会导致证书忽略等配置不生效，先把修正后的代码保存为spider.py，和msedgedriver.exe放在同一目录：

from selenium import webdriver
import time

options = webdriver.EdgeOptions()
options.add_argument('--ignore-certificate-errors')
options.add_argument('--allow-running-insecure-content')
# 不需要弹出浏览器窗口的话，可以放开下面的无头模式配置
# options.add_argument('--headless=new')
driver = webdriver.Edge(executable_path="msedgedriver.exe", options=options)

driver.get('https://youtu.be/Ykvf7oR0JBY')
time.sleep(30)
driver.quit()

第二步：编写Java启动逻辑 #

核心用JDK自带的ProcessBuilder类，调用操作系统的终端命令，每个终端窗口拉起一个独立的Python解释器进程运行爬虫，5个进程完全独立、并行调度，不会互相抢占资源。
代码里做了操作系统适配，Windows/Mac/Linux都可以直接用，只需要替换脚本路径和Python解释器路径为你本地的实际路径：

import java.io.File;
import java.io.IOException;
import java.util.ArrayList;
import java.util.List;

public class ParallelSpiderLauncher {
    // 要启动的爬虫实例数量
    private static final int TOTAL_SPIDER_NUM = 5;
    // 替换为本地spider.py的绝对路径
    private static final String SPIDER_SCRIPT_PATH = "D:\\workspace\\spider.py";
    // 替换为本地Python解释器的绝对路径
    private static final String PYTHON_EXE_PATH = "C:\\Python310\\python.exe";

    public static void main(String[] args) throws IOException, InterruptedException {
        List<Process> runningProcesses = new ArrayList<>();
        for (int i = 0; i < TOTAL_SPIDER_NUM; i++) {
            ProcessBuilder processBuilder;
            String osName = System.getProperty("os.name").toLowerCase();
            // Windows系统调用cmd拉起独立终端窗口
            if (osName.contains("win")) {
                processBuilder = new ProcessBuilder(
                        "cmd", "/c", "start", "cmd", "/k",
                        PYTHON_EXE_PATH, SPIDER_SCRIPT_PATH
                );
            }
            // Mac系统调用Terminal.app拉起独立窗口
            else if (osName.contains("mac")) {
                processBuilder = new ProcessBuilder(
                        "open", "-a", "Terminal",
                        PYTHON_EXE_PATH, SPIDER_SCRIPT_PATH
                );
            }
            // Linux系统调用gnome-terminal（可根据自己用的终端替换为xterm等）
            else {
                processBuilder = new ProcessBuilder(
                        "gnome-terminal", "--",
                        PYTHON_EXE_PATH, SPIDER_SCRIPT_PATH
                );
            }
            // 设置工作目录为脚本所在目录，避免相对路径找不到msedgedriver
            processBuilder.directory(new File(SPIDER_SCRIPT_PATH).getParentFile());
            // 合并输出流和错误流，防止进程因为缓冲区满被阻塞
            processBuilder.redirectErrorStream(true);
            Process spiderProcess = processBuilder.start();
            runningProcesses.add(spiderProcess);
            // 间隔100ms启动，避免多个Selenium同时申请端口产生冲突
            Thread.sleep(100);
        }
        System.out.printf("已成功启动%d个独立爬虫实例%n", TOTAL_SPIDER_NUM);

        // 需要等待所有爬虫执行完再退出Java程序的话，放开下面这段代码
        // for (Process process : runningProcesses) {
        //     process.waitFor();
        // }
        // System.out.println("所有爬虫执行完成");
    }
}

常见疑问说明 #

• 为什么不推荐用Java多线程实现？Java多线程是JVM进程内的调度单元，本身无法直接运行Python代码，也没法弹出独立终端窗口。如果要用多线程跑爬虫，只能用Jython这类JVM上的Python实现，但Jython对Selenium等第三方库兼容性极差，维护成本极高，完全没有必要。
• 如果你不需要显示独立终端窗口，甚至不需要跨语言用Java，直接用Python标准库的multiprocessing模块写几十行代码就能实现多进程并行爬虫，开发效率更高。
• 这类并行需求没有语言门槛：Go、C++、Node.js、C#等所有通用编程语言，标准库都自带进程调用能力，都可以实现完全一样的效果，不存在“只有特定语言能做”的情况。

内容的提问来源于stack exchange，提问作者lucas lima