如何用mongodump导出多集合各最后100条数据？求助

首先，咱们先搞清楚你之前命令失败的核心原因：mongodump的--query参数只接受文档筛选条件（类似find()的查询参数），不支持$limit这种聚合管道操作符，这就是你收到BadValue unknown top level operator: $limit错误的根本原因。

接下来针对你的需求（导出每个集合最后100条数据，且集合有timestamp字段），给你两种可靠的解决方案：

一、利用时间戳字段精准筛选最新100条 #

你之前的查询失败主要是因为类型不匹配或者语法错误：

• 尝试#2中你把时间戳写成了字符串"1569888896"，如果数据库里的timestamp是数字类型（Unix时间戳），字符串和数字无法匹配，自然返回0条；
• 尝试#3的语法完全错误，$toDate不能这么嵌套使用，数组格式也不符合查询规范。

正确的步骤应该是：

1. 先获取目标集合中最新100条数据的最小时间戳：
   打开MongoDB Shell（mongosh），执行以下命令（替换成你的IP、端口和数据库名）：

   // 连接数据库
   const conn = await MongoClient.connect("mongodb://$IP:$PORT");
   const db = conn.db("$DB");
   
   // 获取指定集合的最新100条数据，按时间戳倒序
   const latest100Docs = await db.$COLLECTION.find()
     .sort({ timestamp: -1 })
     .limit(100)
     .toArray();
   
   // 提取这100条数据中最小的时间戳（也就是第100条的时间戳）
   const minTimestamp = latest100Docs[latest100Docs.length - 1].timestamp;
   print(minTimestamp); // 输出这个值，后面会用到
   

2. 用这个时间戳作为筛选条件执行mongodump：
   把上面得到的minTimestamp替换到命令中：

   mongodump --gzip --uri="mongodb://$IP:$PORT/$DB" \
     --collection=$COLLECTION \
     --archive=$COLLECTION.gz \
     --query="{ \"timestamp\": { \"\$gte\": $minTimestamp } }"
   

   这样就能导出所有时间戳大于等于minTimestamp的数据，正好是最新的100条。

二、如果没有可用的时间戳字段，用_id筛选 #

MongoDB的_id默认包含了文档创建的时间戳，所以可以用它来排序筛选：

1. 获取最新100条数据的最小_id：

   const conn = await MongoClient.connect("mongodb://$IP:$PORT");
   const db = conn.db("$DB");
   
   const latest100Docs = await db.$COLLECTION.find()
     .sort({ _id: -1 })
     .limit(100)
     .toArray();
   
   const minId = latest100Docs[latest100Docs.length - 1]._id.toString();
   print(minId);
   

2. 执行mongodump：

   mongodump --gzip --uri="mongodb://$IP:$PORT/$DB" \
     --collection=$COLLECTION \
     --archive=$COLLECTION.gz \
     --query="{ \"_id\": { \"\$gte\": ObjectId(\"$minId\") } }"
   

三、批量处理10+个集合的脚本 #

如果有很多集合需要处理，手动逐个执行太麻烦，可以写个Shell脚本批量操作（示例基于mongosh）：

# 配置你的数据库信息
DB_IP="xxx.xxx.xxx.xxx"
DB_PORT="27017"
DB_NAME="your_database"
OUTPUT_FOLDER="./mongodb_sample_dumps"

# 创建输出目录
mkdir -p $OUTPUT_FOLDER

# 获取数据库中所有集合的列表
COLLECTIONS=$(mongosh "mongodb://$DB_IP:$DB_PORT/$DB_NAME" --eval "db.getCollectionNames()" --quiet | tr -d '[]," ')

# 遍历每个集合
for COLLECTION in $COLLECTIONS; do
  echo "=== 开始处理集合: $COLLECTION ==="
  
  # 获取该集合最新100条的最小时间戳（如果用_id就替换成_id的逻辑）
  MIN_TIMESTAMP=$(mongosh "mongodb://$DB_IP:$DB_PORT/$DB_NAME" --eval "
    const latestDocs = db.$COLLECTION.find().sort({timestamp: -1}).limit(100).toArray();
    latestDocs.length > 0 ? latestDocs[latestDocs.length-1].timestamp : 0
  " --quiet)

  if [ "$MIN_TIMESTAMP" -eq 0 ]; then
    echo "集合 $COLLECTION 无数据，跳过"
    continue
  fi

  # 执行mongodump导出
  mongodump --gzip --uri="mongodb://$DB_IP:$DB_PORT/$DB_NAME" \
    --collection=$COLLECTION \
    --archive="$OUTPUT_FOLDER/$COLLECTION.gz" \
    --query="{ \"timestamp\": { \"\$gte\": $MIN_TIMESTAMP } }"

  echo "=== 集合 $COLLECTION 导出完成 ==="
done

内容的提问来源于stack exchange，提问作者Phil