mongodb千万数据聚合

随着数据量的不断增长，处理海量数据的需求也日益迫切。MongoDB是一款非关系型数据库，其良好的横向扩展性和高效的聚合框架使其成为处理大规模数据的理想选择。本文将介绍如何使用MongoDB的聚合框架来处理千万级数据。

一、背景介绍

本文使用的测试数据集来自于Kaggle的“New York City Taxi Trip Duration”竞赛，数据规模为1,458,644条记录。每条记录包含起始地点、终止地点、行驶距离、行驶时间等信息。我们的目标是分析这些数据，得到有关行驶距离、行驶时间等指标的统计信息。

二、数据导入

我们使用mongodb的import命令将数据导入MongoDB中。导入的命令如下所示：

mongoimport --db=nyc TaxiData.csv --type=csv --headerline

其中，nyc为数据库名称，TaxiData.csv为数据文件名称，--type=csv表示数据文件格式为CSV，--headerline表示第一行为表头。

三、聚合查询

1. 统计各个地区出发的订单数

db.nyc.aggregate([
{$group:{_id:"$pickup_district", count:{$sum:1}}},
{$sort:{count:-1}},
{$limit:10}
])

在聚合查询中，我们使用$group操作符将记录按照出发地点(pickup_district)进行分组。统计每个分组内的记录数，得到各个地区出发的订单数。使用$sort操作符将结果按照订单数降序排列，使用$limit操作符限制结果数量。

2. 统计每日的订单数和总行驶距离

db.nyc.aggregate([
{$project:{date: {$dateToString: {format: "%Y-%m-%d", date: "$pickup_datetime"}}, distance: 1}},
{$group:{_id:"$date", order_count:{$sum:1}, total_distance:{$sum:"$distance"}}},
{$sort:{order_count:-1}},
{$limit:10}
])

在本次查询中，我们使用$project操作符将日期(pickup_datetime)转换成年-月-日的格式。使用$group操作符将记录按照日期进行