如何批量将collection中带货币符号的字符串字段转为int类型？

嘿，这问题我太熟了——800万条记录逐条用Python循环更新？绝对是下下策，那效率低到让人崩溃！下面给你两个最优方案，优先选第一个，速度快到飞起：

方案一：MongoDB原生聚合管道更新（推荐，最快） #

从MongoDB 4.2版本开始，支持用聚合管道作为updateMany的参数，所有转换逻辑直接在数据库服务器端执行，完全不需要把数据拉到Python客户端，这处理百万级数据的速度是Python逐条处理的几十甚至上百倍。

具体代码如下（直接在Mongo Shell、MongoDB Compass里执行，或者用Python的pymongo调用也可以）：

// 替换成你的集合名称
db.yourCollection.updateMany(
  // 只过滤出Winning bid是字符串类型的文档，避免重复处理已经转换好的int字段
  { "Winning bid": { $type: "string" } },
  [
    {
      $set: {
        "Winning bid": {
          // 步骤：1. 替换掉欧元符号 2. 去掉前后空格 3. 转成int类型
          $toInt: {
            $trim: {
              input: { $replaceOne: { input: "$Winning bid", find: "€", replacement: "" } }
            }
          }
        }
      }
    }
  ]
)

为什么这个方案最优？ #

• 完全在MongoDB内部处理，没有网络IO开销（不需要把800万条数据拉到Python再传回去）
• 利用MongoDB的原生聚合引擎，比Python循环快几个数量级
• 自动批量处理，不需要你手动控制批次

方案二：Python端批量优化（仅当MongoDB版本低于4.2时使用） #

如果你的MongoDB版本不够，没法用聚合管道更新，那也别逐条update，改用bulk_write批量处理，减少网络请求次数（逐条更新的话每一条都要发一次请求，批量一次发几千/几万条，开销差很多）。

Python代码示例：

from pymongo import MongoClient, UpdateOne

client = MongoClient("your-mongo-uri")
db = client.your_database
collection = db.yourCollection

# 批量大小，根据服务器内存调整，建议10000-50000之间
BATCH_SIZE = 10000
bulk_ops = []

# 只查询需要转换的文档（Winning bid为字符串类型）
for doc in collection.find({"Winning bid": {"$type": "string"}}):
    try:
        # 清理字符串并转成int
        bid_str = doc["Winning bid"].replace("€", "").strip()
        bid_int = int(bid_str)
        # 添加批量更新操作
        bulk_ops.append(
            UpdateOne(
                {"_id": doc["_id"]},
                {"$set": {"Winning bid": bid_int}}
            )
        )
        # 积累到批量大小就执行一次
        if len(bulk_ops) == BATCH_SIZE:
            collection.bulk_write(bulk_ops)
            bulk_ops = []
            print(f"已处理 {BATCH_SIZE} 条记录")
    except ValueError:
        # 处理异常情况，比如Winning bid格式不对的文档
        print(f"转换失败，文档ID: {doc['_id']}，值: {doc['Winning bid']}")
        continue

# 处理最后一批不足BATCH_SIZE的记录
if bulk_ops:
    collection.bulk_write(bulk_ops)
    print(f"已处理剩余 {len(bulk_ops)} 条记录")

这个方案的优化点： #

• 用bulk_write把多次更新合并成一次请求，大幅减少网络开销
• 只查询需要转换的文档，避免遍历全集合
• 加入异常处理，防止个别格式错误的文档中断整个流程

额外注意事项 #

1. 先在测试集验证：先拿一小部分数据测试转换逻辑，确保没有格式错误（比如有些Winning bid可能不是€ XXXX的格式，提前过滤掉或者处理）
2. 索引优化：如果你的查询条件（{"Winning bid": {"$type": "string"}}）执行慢，可以考虑给Winning bid字段建个索引，但其实$type查询本身效率已经不错
3. 服务器资源：处理百万级数据时，确保MongoDB服务器有足够的内存和CPU，避免影响其他业务

内容的提问来源于stack exchange，提问作者kshnkvn