Cassandra中行动态分组的数据建模方案咨询

我有一组游戏事件流，Schema定义如下：

{
   "gameId": text,
   "playerId": text,
   "eventId": text,
   "ts": bigint,
   "metrics": map<text,double>,
   "dimensions": map<text, text>
}

示例事件：

{
   "gameId": "eb9dafbf-d81a-4d2a-b19b-f9149ee90520",
   "playerId": "738a90ef-f09a-459b-91af-452f25f48c8d",
   "eventId": "ebec5e8c-118b-42a2-aa87-2ecdbc42aa58",
   "ts": 1677685878,
   "metrics": {
      "moves": 11.0,
      "xp": 100.0,
      "hp": 431.0
   },
   "dimensions": {
      "characterId": "5fdf53f0-ad6d-43fc-a422-8a679277f4df",
      "serverId": "d07e57c2-166a-4119-8d4b-cc0778d10069",
      "tournamentId": "40e53993-46b0-42d8-be5a-4fd199a31ad3"
   }
}

当前表的主键设计为 gameId, playerId, day, (ts, eventId)，其中day是从ts提取的YYYY-mm-DD格式，用于控制分区大小并提升写入性能。

我的核心需求是按动态的dimensions集合查询事件，并按指定维度键的值分组聚合。在关系型数据库中，对应的伪SQL逻辑如下：

WITH 
segments(seg_ordinal, seg_character, seg_tournament) AS (
  VALUES (1, 'char_1', 'tourn_1'), (2, 'char_1', null), (3, null, 'tourn_1'), (4, null, null)
),
exploded(gameId, playerId, eventId, dimensions, seg_ordinal, seg_character, seg_tournament) AS (
    SELECT *
    FROM events e, segments s
    WHERE (e.dimensions.characterId = s.seg_character OR s.seg_character IS null)
    AND   (e.dimensions.tournamentId = s.seg_tournament OR s.seg_tournament IS null)
)
SELECT e1.seg_ordinal AS Segment_Ordinal, SUM(e1.metrics.xp) AS AggregatedResult
FROM exploded e1
LEFT JOIN exploded e2 ON e1.eventId = e2.eventId AND e2.seg_ordinal < e1.seg_ordinal
WHERE e2.eventId IS NULL
GROUP BY e1.seg_ordinal
ORDER BY e1.seg_ordinal

由于维度键（比如characterId、tournamentId）和聚合指标（比如SUM(xp)）都是动态的，无法提前确定，所以很难将数据扁平化为适合Cassandra的表结构。

尝试过给dimensions的映射条目创建二级索引，虽然能支持单维度查询，但多维度组合查询需要用过滤条件；而且即便提供全部分区键，过滤仅局限在单个分区内，也无法满足这种动态“分段”分组的需求。

请问在Cassandra中该如何进行数据建模，才能满足这类查询需求？

针对Cassandra的特性，结合动态维度分组的需求，可以从以下几个方向入手：

1. 预计算聚合结果（推荐，符合Cassandra设计哲学） #

Cassandra擅长处理预定义的查询模式，动态分组的核心痛点在于无法提前预知维度组合，因此可以将常用的维度组合和聚合逻辑提前固化，在写入时异步计算并存储聚合结果：

• 定义聚合表：比如按gameId, day, dimension_key, dimension_value, metric_key作为分区键/聚类键，存储对应的聚合值（如sum、count等）。示例表结构：

  CREATE TABLE game_event_aggregates (
      gameId text,
      day text,
      dimension_key text,
      dimension_value text,
      metric_key text,
      sum_value double,
      count_value bigint,
      PRIMARY KEY ((gameId, day), dimension_key, dimension_value, metric_key)
  );
  

• 写入事件时，通过流处理工具（如Spark Streaming、Flink）实时解析dimensions中的所有键值对，更新对应的聚合表。比如当一条事件包含characterId: char_1和xp:100时，就更新gameId=xxx, day=2024-01-01, dimension_key=characterId, dimension_value=char_1, metric_key=xp的sum_value。
• 对于动态的分段需求（比如同时匹配多个维度的组合），可以在查询时组合多个聚合表的结果，或者预计算常用的维度组合（比如characterId+tournamentId的组合）。

2. 使用宽表存储维度枚举（适合维度数量有限的场景） #

如果业务中的维度键数量是有限的（比如最多10种），可以将dimensions中的键扁平化为表的列，同时保留原有的map字段兼容新增维度：

CREATE TABLE game_events_flattened (
    gameId text,
    playerId text,
    day text,
    ts bigint,
    eventId text,
    metrics map<text, double>,
    characterId text,
    serverId text,
    tournamentId text,
    -- 预留其他可能的维度列
    other_dimensions map<text, text>,
    PRIMARY KEY ((gameId, playerId, day), ts, eventId)
);

• 写入时，将已知的维度键提取为单独列，未知的存入other_dimensions。
• 查询时，对于已知维度可以直接作为查询条件，未知维度则用CONTAINS KEY或CONTAINS过滤。
• 分组聚合时，已知维度可以直接用GROUP BY，未知维度则需要在应用层处理，或者结合二级索引。

3. 利用Cassandra的自定义聚合函数 #

如果需要在Cassandra内部完成动态分组，可以编写自定义聚合函数（UDAF），接收维度键和指标键作为参数，在聚合过程中动态分组计算。但UDAF的开发复杂度较高，且性能不如预计算方案，仅适合特殊场景。

4. 结合外部OLAP引擎 #

如果动态分组的需求非常频繁且维度组合完全不可预测，可以将Cassandra作为存储层，使用OLAP引擎（如Presto、Spark SQL）对接Cassandra，利用这些引擎的复杂查询能力来处理动态分组和聚合：

• 将Cassandra的表映射为OLAP引擎的外部表。
• 直接在OLAP引擎中执行类似关系型数据库的复杂查询（包括你提供的伪SQL逻辑），利用引擎的分布式计算能力处理跨分区的聚合。

• Cassandra的设计核心是查询驱动建模，如果动态分组是核心需求，预计算+有限维度枚举是最平衡的方案，既能保证写入性能，也能满足大部分查询需求。
• 二级索引仅适合低基数维度的单维度查询，多维度组合查询尽量避免使用，否则会导致性能问题。
• 外部OLAP引擎适合处理复杂的adhoc查询，但会增加架构复杂度，需要权衡成本和需求。

内容的提问来源于stack exchange，提问作者eimaj