使用Unix/Linux命令在遍历约半数行后按XML标签加空行模式拆分大文本文件

实现逻辑 #

• 先定位拆分点：从文件约半数行的位置直接向后扫描，找到第一个满足「上一行为</abc>、当前行为空行」的位置，这个空行就是第一部分文件的最后一行
• 基于定位到的行号，利用文件指针定位的方式快速拆分文件，前N行存为第一部分，剩余内容存为第二部分
• 全程使用系统内置命令，无额外依赖，内存占用极低，对亿级行的超大文件处理效率极高

可直接运行的命令 #

将命令中的你的大文件路径.txt替换为实际文件路径，在Shell中直接执行即可：

# 配置参数：替换为实际输入文件路径
INPUT_FILE="你的大文件路径.txt"
# 配置参数：替换为实际文件总行数（题目给出为100469448）
TOTAL_LINES=100469448
# 计算搜索起始行（约为总文件行数的一半）
SEARCH_START=$(( TOTAL_LINES / 2 ))

# 第一步：定位拆分点行号，直接从半数位置开始扫描，无需遍历前半部分内容
SPLIT_LINE=$(tail -n +"$SEARCH_START" "$INPUT_FILE" | awk -v base_line="$SEARCH_START" '
BEGIN { found = 0 }
{
  # 缓存相邻两行内容做匹配
  if (NR > 1) prev_line = curr_line
  curr_line = $0
  # 匹配规则：上一行严格为</abc>，当前行为空行
  if (prev_line == "</abc>" && curr_line == "") {
    # 计算当前空行在原文件中的实际行号
    actual_line = base_line + NR - 1
    print actual_line
    found = 1
    exit
  }
}
END {
  if (!found) {
    print "错误：未找到符合要求的拆分点，请检查文件结构或调整匹配规则" > "/dev/stderr"
    exit 1
  }
}
')

# 第二步：拆分生成两个结果文件
# 第一部分：包含从文件开头到匹配空行的全部内容
head -n "$SPLIT_LINE" "$INPUT_FILE" > 拆分结果_第一部分.txt
# 第二部分：包含匹配空行之后的全部剩余内容
tail -n +$((SPLIT_LINE + 1)) "$INPUT_FILE" > 拆分结果_第二部分.txt

匹配规则调整说明 #

如果实际文件格式和严格匹配有差异，可根据需要修改awk中的判断条件：

• 允许</abc>行末尾带任意空白字符：将匹配判断替换为 prev_line ~ /^<\/abc>[[:space:]]*$/
• 允许空行包含任意空白（不是严格全空）：将空行判断替换为 curr_line ~ /^[[:space:]]*$/

操作验证方法 #

如果需要确认拆分点是否符合预期，可先单独运行第一步的定位命令打印拆分行号，再执行以下命令查看拆分点附近的内容：
sed -n "$((SPLIT_LINE-1)),$((SPLIT_LINE+1))p" "$INPUT_FILE"
确认输出中前两行为</abc>和空行、第三行为下一个内容块的开头，就可以执行拆分操作。

内容的提问来源于stack exchange，提问作者Runjhun