Laravel调用含BeautifulSoup的Python爬虫脚本返回空值求助

1. 确认Python环境一致性 #

Laravel的shell_exec调用的Python环境可能和本地/Colab环境不一致：

• 在Laravel控制器中执行shell_exec('which python')和shell_exec('which python3')，确认实际调用的Python版本
• 对比本地运行的Python版本，确保两者安装的BeautifulSoup、requests等依赖版本完全匹配
• 可以在脚本开头指定完整Python路径，比如/usr/bin/python3，避免环境混淆

2. 排查网络请求有效性 #

Google Scholar可能对服务器端请求施加反爬限制：

• 在Python脚本中添加请求日志，记录响应状态码和原始内容，示例代码：

  import requests
  from bs4 import BeautifulSoup
  
  url = "你的Google Scholar目标URL"
  headers = {
      'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36'
  }
  response = requests.get(url, headers=headers)
  # 写入日志文件查看请求结果
  with open('/tmp/scholar_response.log', 'w') as f:
      f.write(f"状态码: {response.status_code}\n")
      f.write(response.text[:1000]) # 写入前1000字符快速验证
  soup = BeautifulSoup(response.text, 'html.parser')
  # 后续解析逻辑
  

• 执行脚本后查看日志，确认是否返回200状态码，以及响应内容是否为预期的论文页面（而非反爬验证页面）

3. 检查权限配置 #

Laravel运行用户（通常是www-data）可能存在权限限制：

• 确认脚本所在目录的读写权限，确保www-data用户能读取脚本文件
• 如果脚本需要写入临时文件，确保目标目录有写入权限

4. 捕获完整输出与错误 #

确保Python脚本的输出能被正确捕获：

• 在脚本末尾用print(title)明确输出结果，不要依赖隐式输出
• 在Laravel中捕获完整的输出和错误信息，示例代码：

  $output = shell_exec('python3 /path/to/your/script.py 2>&1');
  var_dump($output); // 查看所有输出，包括报错信息
  

  通过这种方式可以排查脚本运行时的依赖缺失、语法错误等问题

5. 规避反爬策略 #

Google Scholar会识别非浏览器特征的请求：

• 完善请求头，除User-Agent外，可添加Accept-Language、Referer等字段
• 添加请求延迟，避免短时间内频繁请求
• 优先考虑使用Google Scholar官方API（需符合使用条款），而非直接爬取页面

内容的提问来源于stack exchange，提问作者Ana Fernandes