Node.js中Twitter查询结果缓存实现问题求助

核心问题分析 #

• 缓存键设计完全错误：你用数据库中当前的粉丝数作为缓存键的一部分（Twit_${twit.dataValues.followersCount}），这会导致每次粉丝数更新，缓存键就会变化，完全无法复用之前的缓存结果。缓存键应该标识你要查询的固定资源，比如目标Twitter账号的ID。
• API调用时机错误：你先直接调用了Twitter API获取粉丝数据，再传给缓存的storeFunction，这等于每次请求都会触发API调用，缓存根本没起到拦截作用。storeFunction的意义就是让缓存层在未命中时才去调用数据源。
• 缓存被主动删除：请求结束后调用cache.del(key)直接删除了缓存，导致下次请求必须重新调用API，完全失去缓存的意义。

修复后的代码示例 #

修正后的Twitter查询代码 #

import TwitterCount from "../models/TwitterModel.js";
import { TwitterApi } from 'twitter-api-v2';
import dotenv from "dotenv";
dotenv.config();

import CacheService from '../middleware/Cache.js';

const twitterClient = new TwitterApi(process.env.TWITTER_API_BEARER_TOKEN);
const readOnlyClient = twitterClient.readOnly;

const ttl = 60 * 60 * 1; // 缓存1小时
const cache = new CacheService(ttl);
const TARGET_TWITTER_ID = '1563787278857785350';
// 固定的缓存键，标识目标账号的粉丝数查询
const CACHE_KEY = `twitter_followers_count_${TARGET_TWITTER_ID}`;

export const getCount = async(req, res) => {
    try {
        // 从缓存获取粉丝数，缓存未命中时才调用API
        const currentFollowerCount = await cache.get(CACHE_KEY, async () => {
            const twitterFollowers = await readOnlyClient.v2.followers(TARGET_TWITTER_ID);
            return twitterFollowers.data.length;
        });

        const existingRecord = await TwitterCount.findOne({
            attributes: ['followersCount']
        });

        if (!existingRecord || existingRecord.followersCount !== currentFollowerCount) {
            // 没有记录或粉丝数变化时更新数据库
            if (existingRecord) {
                await existingRecord.update({ followersCount: currentFollowerCount });
            } else {
                await TwitterCount.create({ followersCount: currentFollowerCount });
            }
            console.log("Twitter粉丝数已更新");
        } else {
            console.log("粉丝数无变化");
        }

        // 返回最新数据
        res.json({ followersCount: currentFollowerCount });
    } catch (error) {
        console.error("处理Twitter粉丝数时出错:", error);
        res.status(500).json({ error: "获取粉丝数失败" });
    }
}

缓存类的小优化（可选） #

给get方法添加错误处理，避免缓存错误结果：

get(key, storeFunction) {
    const value = this.cache.get(key);
    if (value) {
        return Promise.resolve(value);
    }

    return storeFunction()
        .then((result) => {
            this.cache.set(key, result);
            return result;
        })
        .catch((error) => {
            // 不缓存错误结果，避免下次请求直接拿到错误
            throw error;
        });
}

更优缓存方案建议 #

• 缓存键规范：使用资源类型_唯一标识_操作的格式，比如twitter_followers_count_12345，清晰且不易冲突。
• 缓存失效策略：除了固定TTL，还可以在知道数据更新时主动删除缓存（比如当你主动更新账号信息后），但不要在每次查询后删除。
• 缓存穿透防护：如果Twitter API返回空结果（比如账号不存在），可以缓存这个空值，避免重复请求无效资源。
• 分布式缓存（可选）：如果你的服务是多实例部署，NodeCache这种内存缓存无法共享，建议改用Redis等分布式缓存方案。

内容的提问来源于stack exchange，提问作者FBK