PyMongo聚合：如何传入Python列表实现动态投影与分组

当然可行！而且完全可以通过遍历你的key_list来动态生成聚合管道，同时完美保留原数据的嵌套层级结构。核心是要把列表里的点分隔键（比如animal.dog）转换成MongoDB聚合操作支持的嵌套对象格式，而不是直接转成扁平字段。下面是具体实现步骤和代码：

1. 编写辅助工具函数 #

首先我们需要两个小函数：一个用来把点分隔的键转换成嵌套字典，另一个用来合并嵌套字典（避免覆盖层级）：

def dot_key_to_nested_dict(key, value):
    """将点分隔的键（如"animal.dog"）转换为嵌套字典结构"""
    parts = key.split('.')
    result = {}
    current_layer = result
    # 逐层构建嵌套结构
    for part in parts[:-1]:
        current_layer[part] = {}
        current_layer = current_layer[part]
    current_layer[parts[-1]] = value
    return result

def merge_nested_dicts(target, source):
    """递归合并嵌套字典，避免覆盖已存在的层级"""
    for k, v in source.items():
        if isinstance(v, dict) and k in target and isinstance(target[k], dict):
            merge_nested_dicts(target[k], v)
        else:
            target[k] = v

2. 动态生成$project阶段 #

这个阶段我们要遍历key_list，对每个字段生成对应的嵌套投影，同时单独处理timestamp来提取日维度：

key_list = ["animal.dog", "animal.dog.tail", "animal.cat", "tree", "fruits", "timestamp"]

# 初始化投影阶段
project_stage = {"$project": {}}

for key in key_list:
    if key == "timestamp":
        # 从timestamp提取日期字符串（格式如"2024-05-20"）
        project_stage["$project"]["day"] = {"$substr": ["$timestamp", 0, 10]}
    else:
        # 生成当前字段的嵌套投影规则
        nested_projection = dot_key_to_nested_dict(key, f"${key}")
        # 合并到投影阶段的字典中
        merge_nested_dicts(project_stage["$project"], nested_projection)

3. 动态生成$group阶段 #

同样遍历key_list，排除timestamp，为每个字段生成嵌套的$sum聚合规则：

# 初始化分组阶段
group_stage = {"$group": {"_id": "$day"}}

for key in key_list:
    if key == "timestamp":
        continue
    # 生成当前字段的嵌套聚合规则
    nested_sum = dot_key_to_nested_dict(key, {"$sum": f"${key}"})
    # 合并到分组阶段的字典中
    merge_nested_dicts(group_stage["$group"], nested_sum)

4. 组装完整管道并执行聚合 #

最后把所有阶段组合起来，执行聚合操作：

from bson import ObjectId

# 初始的匹配阶段
match_stage = {"$match": {"cid": ObjectId("57fe39972b8dbc1387b20913")}}

# 组装完整的聚合管道
pipe = [match_stage, project_stage, group_stage]

# 执行聚合
output = dailycollection.aggregate(pipeline=pipe)

效果说明 #

这样生成的管道会完全保留原数据的嵌套结构：

• $project阶段后的文档会保留animal.dog、animal.dog.tail等嵌套字段，而不是变成扁平的animal_dog；
• $group阶段的输出结果也会是嵌套格式，比如：

  {
      "_id": "2024-05-20",
      "animal": {
          "dog": 15,
          "dog.tail": 8,
          "cat": 22
      },
      "tree": 30,
      "fruits": 45
  }
  

内容的提问来源于stack exchange，提问作者elevenmac