Ionic配套API开发中,使用Cheerio爬取仅返回首对象如何返回完整数组
代码问题根因
- 爬取循环内每遍历一篇文章,都直接覆盖
exports.Arra为当前单个对象,未将所有爬取结果存入数组,反复覆盖后仅能保留单次遍历的结果,你当前仅拿到单个对象的表现和遍历执行时序、模块加载时序直接相关 request是异步执行逻辑,Express服务启动时,爬取请求还未完成,此时读取导出的爬取结果必然为空- 模块导入路径错误:爬取逻辑存放于
scraper.js,但接口文件中导入的是不存在的./ok模块 - 字段定义冗余:单个文章的title/link/image不需要封装为单元素数组,直接作为对象字段存储即可
修正实现方案
1. 重写爬取逻辑文件 scraper.js
将爬取逻辑封装为支持异步调用的函数,每次调用时触发爬取并返回完整结果数组,避免时序问题
const cheerio = require('cheerio'); // 替换已停止维护的request为支持Promise的HTTP客户端axios,如仍需沿用request可搭配request-promise使用 const axios = require('axios'); // 封装爬取函数,返回Promise供接口调用 async function crawlTargetSite() { try { // 发送GET请求,补充常规请求头避免被目标站拦截 const res = await axios.get('https://mywebsite', { headers: { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36' } }); const $ = cheerio.load(res.data); // 初始化完整结果数组 const resultList = []; // 遍历所有文章节点 $('article').each((i, el) => { const title = $(el).find('.entry-title.mh-posts-grid-title').text().trim(); const link = $(el).find('a').attr('href'); const image = $(el).find('.mh-thumb-icon.mh-thumb-icon-small-mobile').text().trim(); // 将当前爬取的对象push到结果数组 resultList.push({ title, link, image }); }); // 返回完整结果数组 return resultList; } catch (err) { // 抛出异常供接口层捕获处理 throw new Error(`爬取失败: ${err.message}`); } } // 导出爬取函数 module.exports = { crawlTargetSite };
2. 重写接口文件 document.js
在接口收到请求时触发爬取,直接返回完整JSON数组给Ionic前端
const express = require("express"); // 正确导入爬取模块 const { crawlTargetSite } = require('./scraper'); const app = express(); const port = 8000; // 新增JSON解析中间件,兼容前端请求处理 app.use(express.json()); app.get('/', async (req, res) => { try { // 调用爬取函数拿到完整结果 const crawlResult = await crawlTargetSite(); // 直接返回JSON数组 res.json(crawlResult); } catch (err) { // 异常时返回错误信息 res.status(500).json({ error: err.message }); } }); app.listen(port, () => { console.log(`服务已启动,监听端口: ${port}`); });
补充注意事项
- 依赖安装:替换HTTP客户端后需执行
npm install axios安装对应依赖 - 避免重复爬取:如果不需要每次请求都实时爬取,可在服务层加内存缓存,比如将爬取结果缓存5分钟,减少对目标站的请求压力
- 字段适配:如果image字段需要获取图片地址,可根据实际DOM结构调整选择器,比如图片是img标签则取
$(el).find('img').attr('src'),如果是背景图则取对应style属性的内容,避免拿到空值 - 反爬适配:如果目标站有验证码、请求频率限制,需在请求逻辑中增加对应处理(代理池、请求间隔、Cookie携带等)
内容的提问来源于stack exchange,提问作者Paul
相关产品推荐
相关产品推荐

