如何检查含1至10亿数字的10亿行文本文件的完整性与有序性？

核心校验目标 #

• 确认文件恰好包含10亿行数据
• 确认所有数字是从1到1000000000的连续递增序列（严格升序、无缺失、无重复、无跳跃）

核心设计思路：流式处理，拒绝全量加载 #

10亿行文件的大小轻松突破9GB，把整个文件塞进内存完全是无意义的资源浪费——哪怕是32GB内存也扛不住，而且完全没必要。最优方案就是边读边校验，读一行处理一行，全程只保留「前一个数字」和「行计数器」两个变量，内存占用可以忽略不计。

具体实现步骤 #

1. 逐行校验逻辑

• 初始化两个变量：前一个数字设为0，行计数器设为0
• 打开文件后逐行读取：
  • 先去除每行的换行符（兼容\n和\r\n两种格式），避免干扰数字解析
  • 将当前行内容转换为整数（或用字符串技巧省略转换开销，见下文优化）
  • 直接校验：当前数字必须等于前一个数字 + 1，一旦不匹配直接报错终止程序，无需继续读取
  • 行计数器加1，更新前一个数字为当前数字
• 文件读取完毕后，最终校验两个点：行计数器是否恰好为10亿，最后一个数字是否为1000000000

2. 性能优化技巧

• 提前做文件大小粗校验：先计算理论文件大小，比如1-9是1位数字，每行占2字节（数字+换行）；10-99是2位，每行3字节；...；1000000000是10位，占11字节（数字+换行）。把这些数值累加得到理论总大小（用\n换行时约为9.2GB），如果实际文件大小偏差过大，直接判定无效，跳过后续逐行校验。
• 用字符串替代数值转换：若担心整数转换的性能开销，可以利用数字字符串的特性：
  • 数字位数是递增的（比如9之后是10，位数从1变2），先对比位数，位数不符时直接检查是否是下一位的起始值（比如9之后必须是10）
  • 位数相同时，字符串的字典序与数值大小完全一致，直接对比当前行字符串是否等于前一行数字+1的字符串即可，省去类型转换开销
• 不要用多线程/多进程：这类顺序读取文件的场景，IO是核心瓶颈，单线程读取效率最高，多线程只会增加上下文切换的额外开销，属于画蛇添足。
• 使用底层IO接口：如果用编译型语言（C/C++/Go），直接调用系统级read接口，减少用户态与内核态的数据拷贝；用Python的话，使用for line in open(file, 'r')原生流式迭代，绝对不要用readlines()一次性加载所有行。

3. 必须处理的错误场景

• 读到非数字内容的行（空行、乱码等）
• 数字出现跳跃（比如5之后是7）
• 数字重复（比如3之后还是3）
• 行数不足10亿或超过10亿
• 最后一行数字不是1000000000

示例代码（C语言高效版） #

#include <stdio.h>
#include <stdlib.h>
#include <string.h>

int main(int argc, char *argv[]) {
    if (argc != 2) {
        fprintf(stderr, "用法: %s <文件路径>\n", argv[0]);
        return 1;
    }

    FILE *fp = fopen(argv[1], "r");
    if (!fp) {
        perror("打开文件失败");
        return 1;
    }

    char buf[12]; // 足够容纳1000000000加换行符
    long long expected = 1;
    long long line_count = 0;

    while (fgets(buf, sizeof(buf), fp) != NULL) {
        // 去除换行符（兼容\n和\r\n）
        buf[strcspn(buf, "\n\r")] = '\0';
        
        // 转换为数字并校验格式
        char *endptr;
        long long num = strtoll(buf, &endptr, 10);
        if (*endptr != '\0') {
            fprintf(stderr, "第%lld行无效: %s\n", line_count+1, buf);
            fclose(fp);
            return 1;
        }
        
        // 校验数字连续性
        if (num != expected) {
            fprintf(stderr, "第%lld行错误: 期望%lld，实际%lld\n", line_count+1, expected, num);
            fclose(fp);
            return 1;
        }
        
        expected++;
        line_count++;
    }

    fclose(fp);

    // 最终校验行数和最后一个数字
    if (line_count != 1000000000 || expected-1 != 1000000000) {
        fprintf(stderr, "行数错误: 实际%lld，期望1000000000\n", line_count);
        return 1;
    }

    printf("文件校验通过\n");
    return 0;
}

内容的提问来源于stack exchange，提问作者Phat Dang