Cheerio按id查找表格无法定位batting_value表格问题求助
问题原因
- 该现象由Baseball Reference站点的反爬机制导致:id为
batting_standard的Standard Batting表格是页面初始静态渲染的正常DOM节点,Cheerio可以直接识别;而id为batting_value的Player Value--Batting表格在静态返回的HTML中是被包裹在<!-- -->注释块内的,Cheerio默认仅解析非注释的正常DOM内容,自然无法定位到该节点,返回null属于预期表现。 - 同类问题在爬取该站点的开发者群体中非常普遍,是该站点公开的反爬策略之一。
修复方案
你需要先对返回的原始HTML做预处理,把包裹表格的注释块替换为正常的DOM内容,再用Cheerio加载处理后的HTML即可,示例代码如下:
// 预处理原始HTML,提取注释中的表格内容 const rawHtml = response.data; // 正则匹配所有HTML注释,仅保留包含表格的注释内容 const processedHtml = rawHtml.replace(/<!--([\s\S]*?)-->/g, (_, comment) => { return comment.includes('<table') ? comment : ''; }); // 加载处理后的HTML const page = cheerio.load(processedHtml); // 原有业务逻辑可正常运行 const statsTable = page('#batting_standard'); const rows = statsTable.find('tbody > tr').not('.minors_table').add(statsTable.find('tfoot > tr:first')); const moreStatsTable = page('#batting_value'); const moreRows = moreStatsTable.find('tbody > tr, tfoot > tr:first');
如果对性能有要求,也可以单独匹配包含batting_value的注释块做替换,无需处理所有注释内容。
内容的提问来源于stack exchange,提问作者Nick
相关产品推荐
相关产品推荐

