Node.js爬虫问题：使用Cheerio按文本查找a标签href返回undefined

我来帮你排查一下这个问题，毕竟浏览器里能跑但Node端不行的情况挺常见的，主要有这几个可能的原因和对应的解决办法：

1. Cheerio的:contains是大小写敏感的 #

浏览器里的jQuery默认:contains通常不区分大小写（不同环境或版本可能有差异），但Cheerio的实现是严格区分大小写的。如果目标网站上的文本是Contact、CONTACT这类非全小写的形式，你的选择器就匹配不到对应的a标签。

解决办法：要么精准匹配文本的实际大小写，要么用filter方法做不区分大小写的查找：

let contact = $('a').filter(function() {
  return $(this).text().toLowerCase().includes('contact');
}).attr('href');

2. 目标链接是JavaScript动态渲染的 #

Request库只能获取服务器返回的原始HTML，不会执行页面里的JavaScript代码。如果这个contact链接是页面加载后通过JS动态生成的（比如从接口拉取数据再渲染），那你拿到的body里根本没有这个a标签，自然返回undefined。

解决办法：这种情况需要用支持JS渲染的工具，比如puppeteer（无头浏览器）或者axios + jsdom（模拟浏览器环境执行JS）。举个puppeteer的简单示例：

const puppeteer = require('puppeteer');

(async () => {
  const browser = await puppeteer.launch();
  const page = await browser.newPage();
  await page.goto(options.websiteUrl);
  
  const contactHref = await page.evaluate(() => {
    const link = document.querySelector('a:contains("contact")');
    return link ? link.href : null;
  });
  
  console.log(contactHref);
  await browser.close();
})();

3. 文本嵌套在a标签的子元素里 #

如果页面结构是<a href="/contact"><span>Get in Contact</span></a>这种形式，虽然Cheerio的:contains理论上能匹配后代文本，但偶尔会有匹配逻辑的细微差异。保险起见可以用text()方法直接过滤：

let contact = $('a').filter(function() {
  return $(this).text().trim().indexOf('contact') !== -1;
}).attr('href');

4. 服务器返回的HTML和浏览器看到的不一样 #

有些网站会根据请求的User-Agent字段返回不同内容，比如给爬虫返回简化版页面，给浏览器返回完整页面。你可以试着在request的配置里加上浏览器的User-Agent：

const requestOptions = {
  url: options.websiteUrl,
  headers: {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36'
  }
};

request(requestOptions, (err, response, body) => {
  if(!err && response.statusCode == 200){ 
    let $ = cheerio.load(body); 
    let contact = $('a:contains("contact")').attr('href'); 
    console.log(contact); 
  } 
});

先试试前两个办法，大概率能解决问题——毕竟大小写和动态渲染是这类问题里最常见的坑~

内容的提问来源于stack exchange，提问作者ampher911