You need to enable JavaScript to run this app. Node.js/Express实现API数据入库与缓存,避免重复调用接口
优惠活动
大模型
产品
解决方案
定价
更多

Node.js/Express实现API数据入库与缓存,避免重复调用接口

基于现有Express服务实现CEP数据持久化与缓存

整体改造逻辑可完全复用现有代码结构,无需推翻已搭建的路由、服务入口,核心是在请求链路中加入「本地存储优先校验」环节,从根源上减少重复的外部接口调用。

核心实现流程

每次收到CEP查询请求时,按照固定顺序处理:

  • 先查询本地数据库中是否存在该CEP的有效未过期缓存
  • 缓存有效则直接返回本地存储的内容,不再请求ViaCEP
  • 无缓存或缓存过期时,再请求ViaCEP接口拉取最新数据
  • 拉取成功后将完整返回JSON写入数据库的对应记录,再将数据返回给请求方

数据库层设计

轻量场景可直接使用SQLite作为持久化存储,无需额外部署独立数据库服务,单表即可满足需求:

  • 存储字段设计:
    • cep:CEP编码,设为主键、建立唯一索引,保证查询效率
    • response_data:存储ViaCEP返回的完整JSON字符串
    • expire_at:缓存过期时间戳,避免永久使用旧数据
  • 表结构初始化逻辑随服务启动自动执行,无需人工手动建表

现有代码改造

1. 路由逻辑改造(原city.routes.js)

在原有axios请求逻辑前加入缓存查询、存库步骤,示例代码如下:

const express = require('express');
const router = express.Router();
const axios = require('axios');
// 引入本地数据库操作实例
const { cepStorage } = require('../db/cep-db');

// 配置缓存有效期,示例为7天,可根据实际业务调整
const CACHE_TTL = 7 * 24 * 60 * 60 * 1000;

router.get('/cep/:cepCode', async (req, res) => {
  const { cepCode } = req.params;
  try {
    // 优先查询本地缓存
    const cachedRecord = await cepStorage.getByCep(cepCode);
    // 缓存存在且未过期,直接返回
    if (cachedRecord && cachedRecord.expire_at > Date.now()) {
      return res.json(JSON.parse(cachedRecord.response_data));
    }

    // 无有效缓存,请求外部ViaCEP接口
    const externalResp = await axios.get(`https://viacep.com.br/ws/${cepCode}/json/`);
    // 外部接口返回CEP不存在的异常场景
    if (externalResp.data.erro) {
      return res.status(400).json({ message: '查询的CEP不存在' });
    }

    // 将新获取的数据写入数据库,执行upsert操作(存在则更新,不存在则新增)
    await cepStorage.upsert({
      cep: cepCode,
      response_data: JSON.stringify(externalResp.data),
      expire_at: Date.now() + CACHE_TTL
    });

    // 返回最新拉取的接口数据
    return res.json(externalResp.data);
  } catch (err) {
    // 保留原有400异常返回逻辑
    return res.status(400).json({ message: '请求处理异常', error: err.message });
  }
});

module.exports = router;

2. 数据库操作封装

新增独立的数据库操作模块,避免将SQL逻辑直接写在路由中,示例代码(基于better-sqlite3实现):

const Database = require('better-sqlite3');
// 初始化本地数据库文件,会自动在项目目录生成对应的存储文件
const db = new Database('./cep_cache.db');

// 服务启动时自动创建缓存表
db.exec(`
  CREATE TABLE IF NOT EXISTS cep_cache (
    cep TEXT PRIMARY KEY,
    response_data TEXT NOT NULL,
    expire_at INTEGER NOT NULL
  )
`);

// 封装对外可调用的存储方法
const cepStorage = {
  // 根据CEP编码查询缓存记录
  getByCep: (cepCode) => {
    const query = db.prepare('SELECT * FROM cep_cache WHERE cep = ?');
    return query.get(cepCode);
  },
  // 新增或更新缓存记录
  upsert: (record) => {
    const upsertQuery = db.prepare(`
      INSERT INTO cep_cache (cep, response_data, expire_at)
      VALUES (@cep, @response_data, @expire_at)
      ON CONFLICT(cep) DO UPDATE SET
        response_data = excluded.response_data,
        expire_at = excluded.expire_at
    `);
    return upsertQuery.run(record);
  }
};

module.exports = { cepStorage };

原有项目兼容说明

现有项目的index.js路由聚合逻辑、server.js的服务启动流程、3333端口监听配置、JSON解析中间件配置完全不需要修改,只要确保数据库模块在服务启动前完成初始化即可。

可选优化点

  • 异常兜底逻辑:当请求ViaCEP接口失败时,如果本地存在过期的旧缓存,可优先返回旧缓存并标注数据可能非最新,避免外部接口故障导致服务完全不可用
  • 高并发防穿透:针对同一CEP的并发请求,可通过Promise锁实现单请求拉取外部数据,其余同CEP请求等待复用结果,避免短时间内重复调用外部接口触发限流
  • 定期清理:可添加简单的定时任务清理超过1个月的未使用缓存,避免数据库文件过大

内容的提问来源于stack exchange,提问作者werliney

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.02 19:54:06