如何用Python ElasticSearch DSL筛选帖子数超N的用户ID？

你的代码存在的问题 #

• 错误访问聚合结果：你遍历的response.hits是原始文档集合，聚合统计结果实际存储在response.aggregations中，二者完全独立。
• 缺少必要参数：默认terms聚合仅返回前10个分组桶，若要获取所有符合条件的用户，必须设置足够大的size参数避免结果截断。
• 未优化查询性能：没有关闭原始文档返回，会额外加载大量帖子数据，拖慢查询速度。

修正后的代码实现 #

def users_more_posts_than_query(search_object: Search, num_posts: int):
    # 构建按user_id分组的聚合，设置足够大的size确保覆盖所有用户
    search_object.aggs.bucket(
        'posts_count', 
        'terms', 
        field='user_id', 
        size=10000  # 根据实际用户规模调整数值
    ).pipeline(
        "having_posts", 
        "bucket_selector", 
        buckets_path={"postsCount": "_count"}, 
        script=f"params.postsCount > {num_posts}"
    )
    
    # 关闭原始文档返回，只保留聚合结果，提升查询效率
    search_object = search_object.source(False)
    
    response = search_object.execute()
    
    # 提取符合条件的用户ID
    user_ids = []
    if hasattr(response.aggregations, 'posts_count'):
        for bucket in response.aggregations.posts_count.buckets:
            user_ids.append(bucket.key)
    
    return user_ids

关键说明 #

• 聚合结果提取：聚合后的分组桶数据在response.aggregations.posts_count.buckets中，每个桶的key对应用户ID，doc_count是该用户的发帖总数。
• size参数调整：如果用户数量极大（超过10万），仅靠size参数会导致内存压力，可结合partition参数做分页聚合查询。
• 性能优化：source(False)会阻止ES返回原始帖子文档，仅返回聚合统计数据，大幅减少数据传输量。

内容的提问来源于stack exchange，提问作者Ashar Ahmad