如何用Bash脚本定位大文件中行数不符的数据块？

针对你描述的大文件数据块校验需求，我推荐用Awk来实现，因为它处理文本行效率极高，特别适合大文件场景。下面是完整的解决方案：

核心思路 #

1. 遍历文件时跟踪每个数据块的起始行号，方便异常定位
2. 读取每个块的首行，获取指定的预期数据行数expected_lines
3. 跳过块的头行（第二行），统计后续以Mg/H/O开头的实际数据行数
4. 对比预期值和实际值，不匹配时输出异常块的位置和详情

完整脚本 #

#!/bin/bash

# 替换为你的目标文件路径
TARGET_FILE="your_data_file.txt"

awk '
BEGIN {
    block_num = 0
    in_block = 0
    expected = 0
    actual = 0
    start_line = 0
}

# 遇到数据块首行（纯数字），初始化块状态
/^[0-9]+$/ {
    if (in_block) {
        # 处理上一个未完成的块（防止文件结尾不完整）
        if (actual != expected) {
            printf "异常块 #%d，起始行号: %d，预期行数: %d，实际行数: %d\n", block_num, start_line, expected, actual
        }
    }
    block_num++
    in_block = 1
    expected = $1
    actual = 0
    start_line = NR
    next
}

# 处于块内，跳过头行（包含i=和time=的行）
in_block && /i=[0-9]+, time=[0-9.]+/ {
    next
}

# 处于块内，统计有效数据行（Mg/H/O开头）
in_block && /^(Mg|H|O)/ {
    actual++
    next
}

# 遇到块结束（非上述行，说明进入下一个块或文件结尾）
in_block {
    # 校验当前块
    if (actual != expected) {
        printf "异常块 #%d，起始行号: %d，预期行数: %d，实际行数: %d\n", block_num, start_line, expected, actual
    }
    in_block = 0
}

# 文件结尾时，处理最后一个块
END {
    if (in_block) {
        if (actual != expected) {
            printf "异常块 #%d，起始行号: %d，预期行数: %d，实际行数: %d\n", block_num, start_line, expected, actual
        }
    }
}
' "$TARGET_FILE"

使用说明 #

1. 将脚本中的your_data_file.txt替换为你实际的文件路径
2. 给脚本添加执行权限：chmod +x check_data_blocks.sh
3. 运行脚本：./check_data_blocks.sh

脚本解释 #

• 块起始识别：通过匹配纯数字行判断新数据块开始，记录块编号、起始行号和预期行数
• 头行跳过：匹配包含i=和time=的行，直接跳过不统计
• 数据行统计：只统计以Mg/H/O开头的行，确保只计算有效数据行
• 异常判断：每个块结束（或文件结尾）时，对比预期和实际行数，不匹配则输出异常信息
• 鲁棒性处理：处理文件结尾不完整的块，避免遗漏异常

比如你提到的示例场景，脚本会输出类似：

异常块 #2，起始行号: X，预期行数: 4，实际行数: 3

这样你就能快速定位到异常数据块的位置了。

内容的提问来源于stack exchange，提问作者user3292696