Redis Search聚合查询数据量超限返回null问题求助

问题1：数据量超50万后全局聚合返回异常结果 #

核心原因 #

Redis Search聚合操作默认内存限制为100MB，当处理大量数据时，分组统计的中间结果占用内存超过阈值，会触发结果截断，导致返回accountID: null和total_usage: 0的异常数据。

解决措施 #

调整聚合内存限制

在聚合查询中通过MEMORYLIMIT参数提高内存分配上限，同时用LOAD明确指定需要加载的字段，减少不必要的内存开销：

FT.AGGREGATE storageUsageIdx "*" 
  LOAD 2 @accountID @size
  GROUPBY 1 @accountID 
  REDUCE SUM 1 @size AS total_usage
  MEMORYLIMIT 500000000  # 设为500MB，可根据实际数据量调整

启用游标分批处理

若数据量极大，开启游标模式分批获取结果，避免单次内存占用过高：

# 初始化游标，获取第一批次结果和游标ID
FT.AGGREGATE storageUsageIdx "*" 
  LOAD 2 @accountID @size
  GROUPBY 1 @accountID 
  REDUCE SUM 1 @size AS total_usage
  MEMORYLIMIT 500000000
  CURSOR 0 COUNT 1000

# 循环使用返回的游标ID获取后续批次，直到cursor返回0
FT.AGGREGATE storageUsageIdx "*" 
  LOAD 2 @accountID @size
  GROUPBY 1 @accountID 
  REDUCE SUM 1 @size AS total_usage
  MEMORYLIMIT 500000000
  CURSOR <cursor_id> COUNT 1000

问题2：指定FILTER后查询耗时过高 #

核心原因 #

1. size字段仅标记为NUMERIC，未开启AGGREGATABLE属性，聚合时需从哈希表读取原始数据计算总和，IO开销大；
2. 未使用TAG字段的专用匹配语法，导致查询未充分利用TAG索引的高效查找能力。

解决措施 #

1. 重建索引，为size字段添加AGGREGATABLE属性

该属性会让Redis Search在索引中存储数值的聚合元数据，直接从索引读取预计算值加速SUM操作：

# 删除旧索引（不会删除原始哈希数据）
FT.DROPINDEX storageUsageIdx

# 重建优化后的索引
FT.CREATE storageUsageIdx ON hash PREFIX 1 "my-key:" 
  SCHEMA accountID TAG SORTABLE 
  size NUMERIC AGGREGATABLE

2. 使用TAG专用匹配语法替代通用FILTER

直接利用TAG索引的快速匹配能力，避免全表扫描：

FT.AGGREGATE storageUsageIdx "@accountID:{acc1}" 
  GROUPBY 1 @accountID 
  REDUCE SUM 1 @size AS total_usage

额外优化建议 #

• 分批写入数据：批量导入时按1000条/批次拆分，避免索引构建时的性能波动；
• 监控索引状态：用FT.INFO storageUsageIdx查看内存占用、文档数量等指标，动态调整配置；
• 分片存储：数据量超千万级时，采用Redis Cluster分片，将不同accountID的数据分布到不同节点，降低单节点聚合压力。

内容的提问来源于stack exchange，提问作者Valdemar