GCP Memorystore(Redis)迁移第三方缓存的性能指标获取方法

Q1：Key/Value大小统计、数据可视化实现 #

Key与Value大小统计方法 #

Memorystore默认不提供单key维度、key/value拆分的大小指标，可通过以下方式获取：

• 低风险离线统计：将线上实例备份恢复到同规格的临时Memorystore实例，在临时实例上执行统计操作，完全不影响线上业务。连接实例后可直接用redis-cli --memkeys命令快速获取全量key的内存占用排行，如果需要拆分key本身、value的独立字节大小，执行以下Lua脚本即可，避免多次命令往返带来的额外开销：

local cursor = "0"
local key_total_bytes = 0
local value_total_bytes = 0
repeat
    local scan_res = redis.call("SCAN", cursor, "COUNT", 1000)
    cursor = scan_res[1]
    for _, key in ipairs(scan_res[2]) do
        -- 统计key本身的字节长度
        key_total_bytes = key_total_bytes + #key
        -- 提取value序列化后的字节长度
        local debug_info = redis.call("DEBUG", "OBJECT", key)
        for _, item in ipairs(debug_info) do
            if string.find(item, "serializedlength") then
                local v_len = tonumber(string.match(item, "serializedlength:(%d+)"))
                value_total_bytes = value_total_bytes + v_len
            end
        end
    end
until cursor == "0"
return {key_total_size = key_total_bytes, value_total_size = value_total_bytes}

• 轻量在线统计：如果不想开临时实例，选业务最低峰的时段（比如凌晨业务低谷），将脚本里的COUNT参数调小到100，连接只读副本节点执行，把扫描对业务的影响降到最低。绝对不要在业务高峰期在主节点跑全量扫描，会直接阻塞请求引发故障。

数据可视化实现 #

• 把上述脚本定时执行（比如每1小时跑一次）输出的大小数据，上报为Cloud Monitoring自定义指标，可按key前缀、key类型做维度拆分，直接在Cloud Monitoring内置仪表盘配置折线图、Top N大key表格、占比饼图即可。
• 如果日常用Grafana做监控，直接拉取Cloud Monitoring的自定义指标配置面板，支持更灵活的多维度下钻、阈值告警配置。

Q2：历史最大读写吞吐量（Bytes/second）统计 #

用于迁移评估的话，两种方案可按需选择：

• 快速估算（误差<10%，满足绝大多数迁移评估需求）：直接用Memorystore默认采集的网络流量指标计算，redis.googleapis.com/server/network/total_bytes_in是实例总入站字节数，对应写流量；redis.googleapis.com/server/network/total_bytes_out是实例总出站字节数，对应读流量。在Cloud Monitoring里选中这两个指标，时间范围拉到你需要回溯的最长周期，聚合方式选max，对指标按1分钟粒度求导即可得到历史峰值的读写字节吞吐。这个指标包含Redis协议头、命令交互的额外开销，估算出来的峰值比实际业务读写量略高，用来做迁移带宽、规格预留反而更稳妥。
• 精确统计：如果需要剔除协议开销的纯业务读写吞吐，在业务侧的Redis客户端加拦截器，统计所有读、写命令的请求/响应payload字节数，按秒聚合上报为自定义指标即可。统计峰值的时候建议取连续7天业务高峰的99.9分位值，忽略毫秒级的偶发尖刺，避免预留过多冗余资源造成浪费。

迁移评估补充提示：除了峰值吞吐，建议同步统计平峰平均吞吐、大key批量操作（比如批量删除、批量预热）的突发吞吐，避免迁移过程中打满带宽影响业务。

内容的提问来源于stack exchange，提问作者Mehul Parmar