Node.js/Express实现API数据入库与缓存,避免重复调用接口
基于现有Express服务实现CEP数据持久化与缓存
整体改造逻辑可完全复用现有代码结构,无需推翻已搭建的路由、服务入口,核心是在请求链路中加入「本地存储优先校验」环节,从根源上减少重复的外部接口调用。
核心实现流程
每次收到CEP查询请求时,按照固定顺序处理:
- 先查询本地数据库中是否存在该CEP的有效未过期缓存
- 缓存有效则直接返回本地存储的内容,不再请求ViaCEP
- 无缓存或缓存过期时,再请求ViaCEP接口拉取最新数据
- 拉取成功后将完整返回JSON写入数据库的对应记录,再将数据返回给请求方
数据库层设计
轻量场景可直接使用SQLite作为持久化存储,无需额外部署独立数据库服务,单表即可满足需求:
- 存储字段设计:
cep:CEP编码,设为主键、建立唯一索引,保证查询效率response_data:存储ViaCEP返回的完整JSON字符串expire_at:缓存过期时间戳,避免永久使用旧数据
- 表结构初始化逻辑随服务启动自动执行,无需人工手动建表
现有代码改造
1. 路由逻辑改造(原city.routes.js)
在原有axios请求逻辑前加入缓存查询、存库步骤,示例代码如下:
const express = require('express'); const router = express.Router(); const axios = require('axios'); // 引入本地数据库操作实例 const { cepStorage } = require('../db/cep-db'); // 配置缓存有效期,示例为7天,可根据实际业务调整 const CACHE_TTL = 7 * 24 * 60 * 60 * 1000; router.get('/cep/:cepCode', async (req, res) => { const { cepCode } = req.params; try { // 优先查询本地缓存 const cachedRecord = await cepStorage.getByCep(cepCode); // 缓存存在且未过期,直接返回 if (cachedRecord && cachedRecord.expire_at > Date.now()) { return res.json(JSON.parse(cachedRecord.response_data)); } // 无有效缓存,请求外部ViaCEP接口 const externalResp = await axios.get(`https://viacep.com.br/ws/${cepCode}/json/`); // 外部接口返回CEP不存在的异常场景 if (externalResp.data.erro) { return res.status(400).json({ message: '查询的CEP不存在' }); } // 将新获取的数据写入数据库,执行upsert操作(存在则更新,不存在则新增) await cepStorage.upsert({ cep: cepCode, response_data: JSON.stringify(externalResp.data), expire_at: Date.now() + CACHE_TTL }); // 返回最新拉取的接口数据 return res.json(externalResp.data); } catch (err) { // 保留原有400异常返回逻辑 return res.status(400).json({ message: '请求处理异常', error: err.message }); } }); module.exports = router;
2. 数据库操作封装
新增独立的数据库操作模块,避免将SQL逻辑直接写在路由中,示例代码(基于better-sqlite3实现):
const Database = require('better-sqlite3'); // 初始化本地数据库文件,会自动在项目目录生成对应的存储文件 const db = new Database('./cep_cache.db'); // 服务启动时自动创建缓存表 db.exec(` CREATE TABLE IF NOT EXISTS cep_cache ( cep TEXT PRIMARY KEY, response_data TEXT NOT NULL, expire_at INTEGER NOT NULL ) `); // 封装对外可调用的存储方法 const cepStorage = { // 根据CEP编码查询缓存记录 getByCep: (cepCode) => { const query = db.prepare('SELECT * FROM cep_cache WHERE cep = ?'); return query.get(cepCode); }, // 新增或更新缓存记录 upsert: (record) => { const upsertQuery = db.prepare(` INSERT INTO cep_cache (cep, response_data, expire_at) VALUES (@cep, @response_data, @expire_at) ON CONFLICT(cep) DO UPDATE SET response_data = excluded.response_data, expire_at = excluded.expire_at `); return upsertQuery.run(record); } }; module.exports = { cepStorage };
原有项目兼容说明
现有项目的index.js路由聚合逻辑、server.js的服务启动流程、3333端口监听配置、JSON解析中间件配置完全不需要修改,只要确保数据库模块在服务启动前完成初始化即可。
可选优化点
- 异常兜底逻辑:当请求ViaCEP接口失败时,如果本地存在过期的旧缓存,可优先返回旧缓存并标注数据可能非最新,避免外部接口故障导致服务完全不可用
- 高并发防穿透:针对同一CEP的并发请求,可通过Promise锁实现单请求拉取外部数据,其余同CEP请求等待复用结果,避免短时间内重复调用外部接口触发限流
- 定期清理:可添加简单的定时任务清理超过1个月的未使用缓存,避免数据库文件过大
内容的提问来源于stack exchange,提问作者werliney
相关产品推荐
相关产品推荐

