PHP调用Python脚本获取网页源码仅返回第一页问题求助

我之前处理过类似PHP调用Python Selenium脚本的问题，结合你的代码和描述，大概率是这几个原因导致的，咱们逐个排查：

1. URL参数在Shell中被解析截断 #

这是最常见的坑！当你在PHP里直接把$url拼到shell_exec命令里时，如果URL包含?、&这类Shell特殊字符，会被Shell当成命令参数分隔符，导致Python脚本拿到的sys.argv[1]不完整。比如你的URL是https://example.com/list?page=2，Shell会把?page=2当成额外的命令参数，Python实际只收到https://example.com/list，自然只能打开第一页。

解决方法：给URL加上Shell转义，用escapeshellarg()包裹$url，确保整个URL作为单个参数传递给Python：

$page_html = shell_exec('python3.6 test.py '.escapeshellarg($url));

对应的Python脚本不需要修改，sys.argv[1]会拿到完整的URL。

2. 页面加载不完整（异步渲染延迟） #

直接运行Python脚本时，你是在交互式环境下，浏览器有足够时间加载分页的异步内容；但PHP调用时，脚本执行速度快，driver.get(link)之后立刻获取page_source，可能分页的动态内容还没渲染完成。

解决方法：添加显式等待，等待分页元素加载完成后再获取源码（需要根据目标网站的实际元素调整选择器）：

import sys
from selenium import webdriver
from selenium.webdriver.common.desired_capabilities import DesiredCapabilities
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

link = sys.argv[1]
driver = webdriver.Remote("http://127.0.0.1:4444/wd/hub", DesiredCapabilities.CHROME)
driver.get(link)

# 等待第二页的分页按钮出现（示例选择器，需替换为目标网站实际元素）
wait = WebDriverWait(driver, 10)
wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, "a.page-link[href*='page=2']")))

s = driver.page_source
print(s.encode("utf-8"))
driver.quit()

3. Web服务器用户的环境/会话差异 #

直接运行Python脚本用的是你当前登录用户的环境，而PHP是通过Web服务器用户（比如www-data、apache）执行的，两者的Cookie、浏览器缓存甚至Selenium Grid的会话可能完全不同。如果目标网站需要登录状态或会话信息才能访问分页，Web服务器用户的会话可能没有权限，只能看到第一页。

解决方法：

• 在Python脚本中添加通用的登录逻辑，确保每次调用都能获取有效会话；
• 或者将你当前用户的登录Cookie导出，在Python脚本中加载到driver中；
• 检查Web服务器用户是否有权限访问Selenium Grid（不过你已经能打开第一页，这个可能性较低）。

4. Shell_exec的输出长度限制 #

默认情况下，shell_exec的输出可能受PHP配置output_buffering或max_execution_time限制，如果分页内容过长，可能被截断。你可以先测试第一页内容的长度，再对比分页内容的长度，调整PHP配置：

• 在php.ini中增大output_buffering的值；
• 或者在PHP脚本开头添加ini_set('output_buffering', '8192');（数值根据实际内容长度调整）。

内容的提问来源于stack exchange，提问作者user11529041