Elasticsearch/OpenSearch电商系统商品可用性存储优化方案咨询

针对你600万商品、3000门店的场景，结合存储成本、更新效率、查询需求，以下是具体解决方案：

一、最优存储方案：位集压缩存储 #

放弃原始的门店ID数组方案（40GB占用），改用64位整数数组实现位集，大幅压缩存储空间：

• 3000个门店仅需 ceil(3000/64) = 47 个long型整数（每个整数64位）
• 每个商品的可用性字段仅占 47*8=376字节，600万商品总占用约2.2GB，比原方案节省95%空间

文档结构示例：

{
  "product_name": "iPhone 15 Pro",
  "product_id": 100123,
  "category": "smartphones",
  "color": "silver",
  "availability": [0, 9223372036854775808, ...], // 47个long，每一位对应一个门店的可用性（1=有货，0=无货）
  "has_any_availability": true // 额外维护布尔字段，优化"至少一家有货"的查询
}

字段映射配置 #

确保availability为long数组类型，has_any_availability为boolean类型：

{
  "mappings": {
    "properties": {
      "product_name": {
        "type": "text",
        "fields": { "keyword": { "type": "keyword" } }
      },
      "product_id": { "type": "long" },
      "category": { "type": "keyword" },
      "color": { "type": "keyword" },
      "availability": { "type": "long" },
      "has_any_availability": { "type": "boolean" }
    }
  }
}

二、查询实现 #

1. 指定门店有货的查询 #

通过Painless脚本计算目标门店对应的位位置，判断该位是否置位：

{
  "query": {
    "bool": {
      "must": [
        { "match": { "product_name": "iphone 15 pro" } },
        { "term": { "category": "smartphones" } },
        {
          "script": {
            "source": "def storeIdx = params.storeId / 64; def bitPos = params.storeId % 64; return doc['availability'][storeIdx] & (1L << bitPos) != 0;",
            "params": { "storeId": 123 }
          }
        }
      ]
    }
  }
}

2. 至少一家门店有货的查询 #

直接利用预维护的has_any_availability字段，避免全数组遍历：

{
  "query": {
    "bool": {
      "must": [
        { "match": { "product_name": "iphone 15 pro" } },
        { "term": { "color": "silver" } },
        { "term": { "has_any_availability": true } }
      ]
    }
  }
}

三、批量更新处理 #

针对每秒100-200次的可用性更新，使用ES_bulk接口批量执行脚本更新，同时同步维护has_any_availability字段：

{ "update": { "_id": "100123" } }
{
  "script": {
    "source": """
      def storeIdx = params.storeId / 64;
      def bitPos = params.storeId % 64;
      // 更新目标门店的可用性位
      if (params.inStock) {
        doc['availability'][storeIdx] |= (1L << bitPos);
      } else {
        doc['availability'][storeIdx] &= ~(1L << bitPos);
      }
      // 同步更新has_any_availability字段
      boolean hasAny = false;
      for (long num : doc['availability']) {
        if (num != 0) {
          hasAny = true;
          break;
        }
      }
      doc['has_any_availability'] = hasAny;
    """,
    "params": { "storeId": 123, "inStock": false }
  }
}

四、其他备选方案对比 #

• 独热编码（单门店字段）：为每个门店创建store_xxx布尔字段，查询时直接用term，但3000个门店会突破ES默认字段数限制，且存储成本（约70GB）远高于位集方案，不推荐。
• 嵌套文档存储：将每个门店的可用性作为嵌套对象，更新时仅修改对应嵌套文档，但查询性能和存储效率均不如位集，适合门店数量极少的场景。

内容的提问来源于stack exchange，提问作者Aadhar Bhatt