使用mongodb-spark-connector v10.3的SamplePartitioner是否会导致数据不全？

你的理解是否正确？ #

你的理解完全正确。SamplePartitioner的核心逻辑是从目标集合中采样指定数量的文档（默认10000条），基于这些样本的_id值划分各个分区的查询范围，并不会主动查询集合中_id的全局最小值和最大值。这种采样式分区策略天然存在覆盖不全的风险——只要符合dateReceived时间范围的文档，其_id不在采样得到的分区边界区间内，就会被遗漏。

是否有人遇到过数据不完整的问题？ #

是的，大量使用SamplePartitioner的用户都碰到过返回数据不完整的情况。尤其是当_id的分布和查询条件（比如这里的dateReceived）没有关联时，采样得到的_id范围很难覆盖所有符合时间条件的文档。比如：部分符合时间范围的文档，_id比采样得到的最小_id还小，或者比最大的_id还大，这些文档就不会被任何一个分区的查询命中，直接导致数据丢失。

相关管道示例 #

你提供的原始管道：

[{'$match': {'dateReceived':{'$gte': '2024-07-12T05:00:00.000000Z','$lte': '2024-07-12T09:15:00.000000Z'}}},{$project:{_id:1}}]

经过SamplePartitioner处理后自动追加_id范围的最终管道：

[
         {
            "$match":{
               "$and":[
                  {
                     "_id":{
"$gte":"ca8866b865271263919bb74cb355cdf5955de54d80123368c9409ad12d622bcd",
"$lt":"d039be1aaf69134b5b24009ca41d5763090bb8b77bd923b5ae3b38c6624d28c9"
                     }
                  },
                  {
                     "dateReceived":{
                        "$gte":"2024-07-12T05:00:00.000000Z",
                        "$lte":"2024-07-12T09:15:00.000000Z"
                     }
                  }
               ]
            }
         },
         {
            "$project":{
               "_id":true
            }
         }
]

如果要避免数据丢失，推荐改用MongoSplitVectorPartitioner（它会通过MongoDB的splitVector命令获取准确的全局_id分区范围），或者在数据量不大的场景下直接使用DefaultPartitioner。

内容的提问来源于stack exchange，提问作者HellRaiser