MongoDB从3.4.3迁移至v6时遭遇BSONError无效UTF-8字符串问题求助

同版本MongoDB 3.4.3恢复时「索引键过大」错误 #

• 原因：MongoDB 3.4默认限制单个索引键字节数不超过1024，备份数据中存在字段值超出该限制的文档，导致自动创建索引失败。
• 处理方案：
  1. 先用mongodump备份，恢复时加上--noIndexRestore跳过索引创建，确保数据先恢复成功。
  2. 定位超长字段值：针对目标索引字段，执行以下查询找出违规文档：

     db.your_collection.find({
       $expr: {
         $gt: [ { $strLenBytes: "$your_index_field" }, 1024 ]
       }
     })
     

  3. 清理数据：截断或删除这些超长字段值，或者根据业务需求调整字段内容。
  4. 手动重建索引：数据清理完成后，重新创建所需索引：

     db.your_collection.createIndex({ your_index_field: 1 })
     

  5. 可选替代方案：如果业务允许，改用哈希索引，规避键长限制：

     db.your_collection.createIndex({ your_index_field: "hashed" })
     

恢复到MongoDB 6时「BSONError：无效UTF-8字符串」错误 #

• 原因：MongoDB 3.4对UTF-8字符串的校验规则较宽松，允许部分不符合RFC 3629的字节序列；而MongoDB 6强制执行严格UTF-8校验，导致旧备份中的无效字符串触发错误。结合Ruby on Rails场景，大概率是早期版本的mongoid驱动写入了非标准UTF-8数据。
• 处理方案：
  1. 前置修复（推荐）：在MongoDB 3.4.3环境中先修复无效UTF-8数据，再重新备份：
     • 用Ruby on Rails脚本批量处理（在Rails控制台执行）：

       YourModel.find_each do |record|
         record.attributes.each do |attr_name, value|
           next unless value.is_a?(String)
           fixed_value = value.encode('UTF-8', invalid: :replace, undef: :replace, replace: '?')
           record.update_column(attr_name, fixed_value) if fixed_value != value
         end
       end
       

  2. 直接在MongoDB 6中修复（已恢复数据后）：
     • 使用聚合管道批量更新无效字符串字段：

       db.your_collection.updateMany(
         {},
         [
           {
             $set: {
               your_string_field: {
                 $replaceAll: {
                   input: "$your_string_field",
                   find: /[\x00-\x1F\x7F-\xFF]/g,
                   replacement: "?"
                 }
               }
             }
           }
         ]
       )
       

       注意：需替换your_string_field为实际字段名，若有多个字符串字段，需重复$set中的处理逻辑。
  3. 长期预防：升级Rails项目的mongoid驱动到适配MongoDB 6的版本（如mongoid 8.x），确保后续写入的数据符合严格UTF-8标准。

内容的提问来源于stack exchange，提问作者NIYAS Tk