Windows终端中Beautiful Soup .find方法失效问题求助

• 正在开发定期爬取亚马逊（先从亚马逊.es入手）及其他网站商品价格的程序
• 核心问题：PyCharm中调用soup.find()能准确定位目标并返回结果，但Windows终端运行时该方法返回None，无法通过终端运行实现.bat自动化
• 已完成排查：
  • 卸载重装bs4，确认所有依赖模块安装正常
  • 终端与PyCharm运行目录完全一致
  • 问题非必现：12个目标链接中10-12个失败，仅终端运行时出现该问题
  • 两种环境下请求响应均为<Response [200]>
  • 对比发现PyCharm与终端生成的soup内容不同，终端的soup中无法找到目标文本
• 测试链接：https://www.amazon.es/dp/B0BRYY69YD

import time
import requests
from bs4 import BeautifulSoup
import pandas as pd
import os
from csv import writer
from datetime import date, datetime
from tqdm import tqdm

def r_Amazon(URL):
    headers = {
        'Accept-Encoding': 'gzip, deflate, br',
        'Accept-Language': 'es-ES,es;q=0.8',
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36'
    }
    response = requests.get(URL, headers=headers)
    soup = BeautifulSoup(response.content, 'lxml')
    # 检查商品是否有库存或仅售二手
    get_error = 0
    try:
        product_price_stat = soup.find('span', {'class': 'a-text-bold'}).text.strip() # <- 此处失败

        if product_price_stat == 'Comprar de segunda mano' or product_price_stat == 'Ofertas destacadas no disponibles':
            # 商品仅售二手，执行对应逻辑
            try:
                product_price = 'ND'
                get_error = 1
            except:
                print('ERROR 2nd TRY')
                get_error = 1
        else:
            # 商品有正常售价，执行对应逻辑
            try:
                product_price = soup.find('span', {'class': 'a-offscreen'}).text.strip()
                # 格式化价格
                product_price = product_price.replace('.', '')
                product_price = product_price.replace(',', '.')
                product_price = product_price.replace('€', '')
            except:
                print('ERROR 1rs TRY')
                get_error = 1
    except:
        product_price = 'ND'
        print('ERROR')
        get_error = 1
    return product_price, get_error

1. 统一请求头细节 #

亚马逊反爬机制可能针对不同环境返回差异化内容，PyCharm和终端的隐性请求头差异是核心诱因：

• 复制浏览器真实请求头（包含Cookie、Referer、Upgrade-Insecure-Requests等完整字段）替换现有headers，不要只保留部分字段
• 避免硬编码User-Agent，用fake_useragent库随机切换合法的浏览器标识

2. 处理响应编码与解压 #

终端环境对响应内容的解码逻辑可能和PyCharm不一致：

• 显式设置响应编码：response.encoding = 'utf-8'
• 尝试用response.text代替response.content生成soup，避免手动处理解压问题

3. 切换HTML解析器 #

不同环境下lxml解析器的版本或配置可能存在差异：

• 切换到Python内置解析器测试：soup = BeautifulSoup(response.content, 'html.parser')
• 用pip show lxml分别查看PyCharm和终端环境的lxml版本，确保两者一致

4. 增加反爬规避逻辑 #

终端批量请求更容易触发亚马逊反爬：

• 在每次请求前添加随机延迟：time.sleep(random.uniform(1,3))
• 对返回异常的请求增加重试逻辑，比如用tenacity库实现自动重试

5. 验证Python解释器一致性 #

终端和PyCharm可能使用不同的Python解释器，导致依赖版本不一致：

• 在终端运行where python确认解释器路径，和PyCharm中配置的解释器对比
• 使用终端的解释器重新安装所有依赖：pip install requests bs4 lxml pandas tqdm

内容的提问来源于stack exchange，提问作者Oscar Tarrago