如何在Java中按自定义规则分块读取大文件？

这个需求太实用了——处理大文件时避免内存溢出，同时保证同一ID的数据在一个块里，还能控制单个块的大小。我给你写个Python实现，完全匹配你的要求，先看你的示例文件：

按照你的规则，这个文件会被分成3个块：ID=1的5行、ID=2的2行、ID=3的1行。如果某个ID有12行（超过你设定的最大值10），会自动拆成两个块：前10行一个块，后2行一个块。

实现代码 #

def process_chunk(chunk, header):
    """
    自定义块处理函数，替换成你的业务逻辑
    示例：打印块内容，实际可以是写入数据库、统计分析等
    """
    print("=== 新块开始处理 ===")
    print(header)
    for row in chunk:
        print(row)

def read_large_file_by_id(file_path, max_chunk_rows=10):
    with open(file_path, 'r', encoding='utf-8') as file:
        # 读取表头（第一行）
        header = file.readline().strip()
        current_id = None
        current_chunk = []
        
        for line in file:
            line = line.strip()
            if not line:
                continue  # 跳过空行，可根据实际情况调整
            
            # 解析当前行的ID：假设ID是第一列，用逗号分隔（如果是制表符用'\t'）
            row_parts = line.split(',')
            row_id = row_parts[0]
            
            if row_id != current_id:
                # 遇到新ID，先处理之前积累的块
                if current_chunk:
                    process_chunk(current_chunk, header)
                # 初始化新块
                current_id = row_id
                current_chunk = [line]
            else:
                # 同一ID，检查是否达到块的最大行数
                if len(current_chunk) < max_chunk_rows:
                    current_chunk.append(line)
                else:
                    # 已达最大值，先处理当前块，再开启新的块（同一ID的后续行）
                    process_chunk(current_chunk, header)
                    current_chunk = [line]
        
        # 处理文件末尾剩余的最后一个块
        if current_chunk:
            process_chunk(current_chunk, header)

# 调用示例：替换成你的文件路径，max_chunk_rows设置为10
read_large_file_by_id("your_large_file.csv", max_chunk_rows=10)

关键说明 #

1. 自定义处理逻辑：process_chunk是你自己的业务入口，把这里改成你需要的操作就行——比如把块数据写入数据库、做聚合统计、导出小文件等。
2. 适配文件格式：代码里用逗号分隔行数据，如果你的文件是制表符分隔（TSV）或者其他分隔符，把row_parts = line.split(',')里的分隔符改成对应的即可。
3. 空行处理：跳过空行的逻辑可以根据你的文件情况调整，如果文件没有空行可以删掉这部分。
4. 最大行数控制：max_chunk_rows参数可以灵活设置，你要求的10行就是默认值，要是后续需要调整直接改参数就行。

这个方法是逐行读取，内存里只会保留当前处理的块，完全不会加载整个大文件，非常适合处理GB级别的数据文件。

内容的提问来源于stack exchange，提问作者Vasilis Iak