Spark计算负样本数量时触发Size exceeds Integer.MAX_VALUE错误求助

嘿，这个问题我之前踩过坑！本质原因是你过滤后的数据集对应的单个分区文件大小超过了2GB——Spark的DiskStore在把磁盘文件映射到内存时，用的是int类型记录偏移量，而Integer.MAX_VALUE刚好是2^31-1（约2.1GB），超过这个值就会触发这个报错。

下面给你几个靠谱的解决方案：

1. 增加分区数，拆分大文件 #

这是最常用也最有效的方法，通过重新分区让每个分区的文件大小控制在2GB以内。你可以用repartition（打乱数据重新分区）或者coalesce（增加分区时效果和repartition一致）调整分区数：

val numNegatives = dataSet.filter(col("label") < 0.5)
  .repartition(200) // 根据实际数据量调整，比如按每分区1-2GB估算
  .count()

举个例子，如果过滤后的数据有40GB，设置20个分区就能保证每个分区约2GB，刚好避开阈值。

2. 调整Spark存储参数，禁用大文件的内存映射 #

如果不想重新分区，你可以修改spark.storage.memoryMapThreshold参数，让Spark不对超大文件使用内存映射。这个参数默认是2MB，当文件大小超过该值时会触发内存映射；我们把它设得比单个分区文件还大（比如4GB），Spark就会改用普通文件读取方式，绕开内存映射的int限制：

方式一：启动Spark时添加配置 #

spark-submit --conf spark.storage.memoryMapThreshold=4294967296 ... # 4GB对应的字节数

方式二：在代码中动态设置 #

spark.conf.set("spark.storage.memoryMapThreshold", "4294967296")
val numNegatives = dataSet.filter(col("label") < 0.5).count()

3. 采样估算（仅适用于不需要精确值的场景） #

如果只是想快速知道负样本的大致数量，而非精确值，可以用采样的方式：

val sampleRatio = 0.1 // 抽取10%的样本
val estimatedNegatives = dataSet.filter(col("label") < 0.5)
  .sample(withReplacement = false, sampleRatio)
  .count() / sampleRatio

不过注意这是估算值，精度取决于采样比例。

最后额外提一句：你可以先检查下过滤后的数据集是不是远超预期？比如是不是label < 0.5的条件不小心把大部分数据都保留了？如果是逻辑问题，调整过滤条件才是根本~

内容的提问来源于stack exchange，提问作者秦时明月