用户脚本加载同域Ebay商品页HTML却返回搜索结果页的问题求助

核心问题：重复读取Response流 #

你的getUrlDocument函数里两次调用了await response，而Fetch API的Response对象是一次性可读流——第一次读取后流会被耗尽，第二次读取会得到空字符串。DOMParser解析空文本时会生成空白HTML文档，Firefox中这类空白文档的URL属性会默认继承当前页面（搜索结果页）的URL，这就是日志返回搜索页地址的原因。

修复步骤 #

1. 缓存响应文本，避免重复消耗流
   先把响应内容读取到变量中，再用该变量做解析操作，确保流只被读取一次。
2. 清理不合理的请求头

• 移除Sec-Fetch-Mode: navigate：该模式用于浏览器页面导航，不适合Fetch请求，可能触发Ebay服务器异常重定向。
• 移除Upgrade-Insecure-Requests: 1、TE: trailers这类非必要头，降低服务器校验异常概率。
• 删除硬编码的Host头：Fetch会自动根据请求URL设置正确的Host，硬编码会导致跨域名请求失败。

修复后的代码 #

// 修正后的请求头
const reqhead = {
  'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
  'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:109.0) Gecko/20100101 Firefox/118.0',
  'Referer': document.URL,
  'Cookie': document.cookie,
  'Sec-Fetch-Dest': 'document',
  'Sec-Fetch-Site': 'same-origin'
};

// 修正后的getUrlDocument函数
async function getUrlDocument(url) {
  console.log("url=" + url);
  try {
    const response = await fetch(url, { headers: reqhead });
    if (!response.ok) {
      console.error(`请求失败，状态码：${response.status}`);
      return null;
    }
    // 仅读取一次响应文本并缓存
    const htmlText = await response.text();
    const parser = new DOMParser();
    const doc = parser.parseFromString(htmlText, 'text/html');
    console.log("response URL=" + doc.URL);
    return doc;
  } catch (err) {
    console.error("请求出错：", err);
    return null;
  }
}

额外建议 #

• 加入错误捕获：用try/catch包裹请求逻辑，避免网络错误导致脚本崩溃。
• 控制请求频率：Ebay存在限流机制，批量请求商品页时建议添加延迟或分批处理，避免被封IP。
• 检查重定向：可以打印response.url确认实际请求地址是否被服务器重定向（比如因Cookie问题跳转到登录页）。

内容的提问来源于stack exchange，提问作者sonofevil