在Express(JS)中调用Selenium Python脚本无法返回列表如何解决

一、Python脚本修改点 #

你当前的Selenium代码在页面还没完成动态渲染时就执行了元素查找，拿到的是空列表，同时Python默认的输出缓冲会导致打印内容没有实时传递给Node.js，修改如下：

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import pandas as pd

driver = webdriver.Chrome('chromedriver')
driver.get('https://fantasy.espn.com/football/players/add?leagueId=1589782588')

# 增加显式等待，最长等10秒，直到目标元素加载完成
wait = WebDriverWait(driver, 10)
players = wait.until(EC.presence_of_all_elements_located((By.XPATH, '//a[@class="AnchorLink link clr-link pointer"]')))
position = wait.until(EC.presence_of_all_elements_located((By.XPATH, '//span[@class="playerinfo__playerpos ttu"]')))

players_list = []
position_list = []
for p in range(len(players)):
    players_list.append(players[p].text)
    position_list.append(position[p].text)
# 加flush=True强制立刻输出，避免缓冲导致Node.js收不到数据
print(players_list, flush=True)
# 执行完关闭浏览器
driver.quit()

二、Node.js代码修改点 #

你当前把执行Python脚本的Promise定义在全局，服务启动时就会执行一次，且没有处理流式输出的拼接逻辑，修改如下：

const express = require('express')
const app = express()
const { spawn } = require('child_process');

// 把执行Python脚本的逻辑封装成函数，每次请求调用时才执行
function runPy() {
    return new Promise(function(success, nosuccess) {
        // 加-u参数禁用Python输出缓冲，双保险
        const pyprog = spawn('python', ['-u', 'scrape.py']);
        let result = '';
        // 拼接所有输出块
        pyprog.stdout.on('data', function(data) {
            result += data.toString();
        });
        pyprog.stderr.on('data', (data) => {
            nosuccess(data.toString());
        });
        // 进程结束后再返回完整结果
        pyprog.on('close', (code) => {
            if (code === 0) {
                success(result);
            } else {
                nosuccess(`Python脚本执行错误，退出码：${code}`);
            }
        });
    });
}

app.get('/', async (req, res) => {
    res.write('welcome\n');
    try {
        const fromRunpy = await runPy();
        console.log(fromRunpy);
        res.end(fromRunpy);
    } catch (err) {
        console.error(err);
        res.end(`执行错误：${err}`);
    }
})

app.listen(4000, () => console.log('Application listening on port 4000!'))

补充验证步骤 #

• 先单独执行Python脚本python scrape.py，确认控制台能正常打印出玩家列表，排除Python本身的抓取逻辑问题
• 确认scrape.py文件和Node.js脚本放在同一个目录下，避免路径错误找不到Python文件
• 如果用的是Python3，把spawn里的python改成python3

内容的提问来源于stack exchange，提问作者qwqwqwererer