You need to enable JavaScript to run this app. Ionic配套API开发中,使用Cheerio爬取仅返回首对象如何返回完整数组
优惠活动
大模型
产品
解决方案
定价
更多

Ionic配套API开发中,使用Cheerio爬取仅返回首对象如何返回完整数组

代码问题根因
  • 爬取循环内每遍历一篇文章,都直接覆盖exports.Arra为当前单个对象,未将所有爬取结果存入数组,反复覆盖后仅能保留单次遍历的结果,你当前仅拿到单个对象的表现和遍历执行时序、模块加载时序直接相关
  • request是异步执行逻辑,Express服务启动时,爬取请求还未完成,此时读取导出的爬取结果必然为空
  • 模块导入路径错误:爬取逻辑存放于scraper.js,但接口文件中导入的是不存在的./ok模块
  • 字段定义冗余:单个文章的title/link/image不需要封装为单元素数组,直接作为对象字段存储即可
修正实现方案

1. 重写爬取逻辑文件 scraper.js

将爬取逻辑封装为支持异步调用的函数,每次调用时触发爬取并返回完整结果数组,避免时序问题

const cheerio = require('cheerio');
// 替换已停止维护的request为支持Promise的HTTP客户端axios,如仍需沿用request可搭配request-promise使用
const axios = require('axios');

// 封装爬取函数,返回Promise供接口调用
async function crawlTargetSite() {
  try {
    // 发送GET请求,补充常规请求头避免被目标站拦截
    const res = await axios.get('https://mywebsite', {
      headers: {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36'
      }
    });
    const $ = cheerio.load(res.data);
    // 初始化完整结果数组
    const resultList = [];
    // 遍历所有文章节点
    $('article').each((i, el) => {
      const title = $(el).find('.entry-title.mh-posts-grid-title').text().trim();
      const link = $(el).find('a').attr('href');
      const image = $(el).find('.mh-thumb-icon.mh-thumb-icon-small-mobile').text().trim();
      // 将当前爬取的对象push到结果数组
      resultList.push({ title, link, image });
    });
    // 返回完整结果数组
    return resultList;
  } catch (err) {
    // 抛出异常供接口层捕获处理
    throw new Error(`爬取失败: ${err.message}`);
  }
}

// 导出爬取函数
module.exports = { crawlTargetSite };

2. 重写接口文件 document.js

在接口收到请求时触发爬取,直接返回完整JSON数组给Ionic前端

const express = require("express");
// 正确导入爬取模块
const { crawlTargetSite } = require('./scraper');
const app = express();
const port = 8000;

// 新增JSON解析中间件,兼容前端请求处理
app.use(express.json());

app.get('/', async (req, res) => {
  try {
    // 调用爬取函数拿到完整结果
    const crawlResult = await crawlTargetSite();
    // 直接返回JSON数组
    res.json(crawlResult);
  } catch (err) {
    // 异常时返回错误信息
    res.status(500).json({ error: err.message });
  }
});

app.listen(port, () => {
  console.log(`服务已启动,监听端口: ${port}`);
});
补充注意事项
  • 依赖安装:替换HTTP客户端后需执行npm install axios安装对应依赖
  • 避免重复爬取:如果不需要每次请求都实时爬取,可在服务层加内存缓存,比如将爬取结果缓存5分钟,减少对目标站的请求压力
  • 字段适配:如果image字段需要获取图片地址,可根据实际DOM结构调整选择器,比如图片是img标签则取$(el).find('img').attr('src'),如果是背景图则取对应style属性的内容,避免拿到空值
  • 反爬适配:如果目标站有验证码、请求频率限制,需在请求逻辑中增加对应处理(代理池、请求间隔、Cookie携带等)

内容的提问来源于stack exchange,提问作者Paul

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.29 11:54:05