Java如何在内存受限场景下对比大型CSV文件并筛选有效数据

以下方案均满足512MB内存限制，支持1000万行数据处理及双任务并行要求：

方案1：布隆过滤器（最优，性能最高） #

• 核心逻辑：先将较小的CSV（第二个文件）的所有id导入布隆过滤器，再逐行读取第一个CSV的id，判断不在过滤器中则直接写入MongoDB。若要求零误判，可将过滤器判定为存在的id临时写入本地小文件，全量处理完成后对小文件做二次精确校验即可，小文件数据量最多占总数据的0.01%，不会触发OOM。
• 内存占用：设置0.01%误判率时，1000万条数据的布隆过滤器仅占用约23MB内存，双任务并行总占用不超过50MB，内存余量充足。
• 参考实现（Python）：

from pybloomfilter import BloomFilter
from pymongo import MongoClient

# 初始化布隆过滤器：容量1000万，误判率0.01%
bf = BloomFilter(10000000, 0.0001, 'temp_filter.bloom')

# 逐行加载第二个CSV到布隆过滤器，无需全量读入内存
with open('second.csv', 'r', encoding='utf-8') as f:
    for line in f:
        _id = line.strip()
        if _id:
            bf.add(_id)

# 连接MongoDB
client = MongoClient()
col = client['your_db']['id_collection']

# 逐行处理第一个CSV，批量写入Mongo提升性能
batch = []
batch_size = 1000
with open('first.csv', 'r', encoding='utf-8') as f:
    for line in f:
        _id = line.strip()
        if _id and _id not in bf:
            batch.append({'id': _id})
            if len(batch) >= batch_size:
                col.insert_many(batch)
                batch = []
if batch:
    col.insert_many(batch)

方案2：外部排序+归并对比（零误判，无第三方依赖） #

• 核心逻辑：用系统自带的排序工具对两个CSV做外部排序（自动用磁盘做临时存储，无需全量加载到内存），排序完成后用双指针逐行对比两个文件，提取第一个文件独有的id写入Mongo。
• 操作步骤：

1. 执行系统排序命令（Linux环境下直接执行，内存占用可控）：
   sort -u first.csv > first_sorted.csv
sort -u second.csv > second_sorted.csv
2. 双指针逐行对比：

• 若第一个文件当前id < 第二个文件当前id：该id为独有值，写入Mongo，第一个文件指针后移
• 若两个id相等：两个文件指针同时后移
• 若第一个文件当前id > 第二个文件当前id：第二个文件指针后移
• 性能说明：1000万行数据排序耗时约1-2分钟，对比耗时仅几十秒，完全满足日均30次的处理要求。

方案3：SQLite临时表（零误判，逻辑易维护） #

• 核心逻辑：创建本地临时SQLite数据库，将第二个CSV的id导入带唯一索引的表中，再逐行读取第一个CSV的id，用SQL查询判断是否存在，不存在则写入Mongo。
• 内存占用：SQLite自动管理内存，单任务内存占用不超过100MB，双任务并行也完全符合512MB内存限制。
• 参考操作：

-- 创建SQLite表
CREATE TABLE ids (id TEXT PRIMARY KEY);
-- 导入第二个CSV文件
.mode csv
.import second.csv ids
-- 判断id是否存在的查询语句
SELECT 1 FROM ids WHERE id = ? LIMIT 1;

内容的提问来源于stack exchange，提问作者Sefas