使用Node.js Cheerio爬取网页时如何提取a标签内img的src属性
实现方案
直接在当前迭代的a标签DOM对象下查找img元素并提取src属性即可,修改scrapeLinksOut方法内的对应代码即可:
- 用
$(this).find('img')选中当前a标签内部的所有img元素,若仅需匹配第一个img,可追加.first()过滤 - 调用
.attr('src')获取src属性,不存在img的情况下会返回undefined,可追加默认值避免后续逻辑报错
修改后完整代码
const cheerio = require('cheerio') const request = require('request') const throttledRequest = require('throttled-request')(request) throttledRequest.configure({ requests: 18, milliseconds: 1000 }) let o = { linksOut: [] } const scrapeLinksOut = (o, body) => { if (body) { let $ = cheerio.load(body) $('a').map(function () { let link = $(this).attr('href') // 获取当前a标签内第一个img的src属性,不存在则默认空字符串 let thumbnail = $(this).find('img').first().attr('src') || '' o.linksOut.push( { link: link, thumbnail: thumbnail }) }) } else { // 其他逻辑 } } const scrape = (() => { return new Promise((resolve, reject) => { throttledRequest({ url: 'https://www.ibm.com/us-en', followAllRedirects: true, timeout: 30000 }, (err, res, body) => { scrapeLinksOut(o, body) return resolve(o) }) }) }) scrape() .then((res) => { res.linksOut.forEach((obj) => { console.log(obj); }) }) .catch((err) => console.log(err))
补充说明
如果目标站点的图片用懒加载方案,img元素上没有直接的src属性,而是用data-src、data-original这类自定义属性存储图片地址,将.attr('src')中的属性名替换为对应自定义属性名即可。
内容的提问来源于stack exchange,提问作者Red
相关产品推荐
相关产品推荐

