如何用Unix sort或Python对大文件按指定规则排序？

我来帮你搞定这个排序问题！你的核心需求很明确：

• 列1：先按纯数值升序排列（纯数字行排在最前面），再对带前缀的条目（比如chr2）按自然排序（依据前缀后的数字数值，所以chr2要在chr15之前）
• 列2：始终按数值升序排列

之前用sort命令没得到理想结果，主要是因为没有区分纯数字和非纯数字的列1，导致排序优先级不符合预期。下面给出两种低内存占用的解决方案：

一、Unix 工具方案（推荐，流式处理内存占用极低） #

我们可以用awk先给行添加一个辅助排序标记，再结合sort实现需求，全程流式处理，不会加载整个文件到内存：

# 步骤1：用awk给纯数字列1的行加前缀0，其他行加前缀1；步骤2：按辅助标记、列1自然排序、列2数值排序；步骤3：去掉辅助前缀
awk '{if ($1 ~ /^[0-9]+$/) print "0", $0; else print "1", $0}' final_merged.txt | sort -k1,1n -k2,2V -k3,3n | cut -d' ' -f2- > merged-sort.txt

命令解释： #

1. awk 预处理：判断列1是否为纯数字，给纯数字行加0 前缀，非纯数字行加1 前缀，这样排序时纯数字行会优先排在前面。
2. sort 排序：
   • -k1,1n：按第一列（辅助标记）数值升序，确保0前缀的行在前
   • -k2,2V：按第二列（原列1）自然排序，纯数字会按数值升序，chr开头的条目会按前缀后的数字数值排序（比如chr2 < chr15）
   • -k3,3n：按第三列（原列2）数值升序
3. cut 清理：去掉最前面的辅助前缀，得到最终结果

为什么之前的命令不行？ #

• sort -V -k1,1n -k2n：-k1,1n会把非纯数字的列1当成0处理，导致chr开头的行跑到纯数字行前面，不符合你的需求
• 仅用-V选项：虽然能实现自然排序，但无法区分纯数字和非纯数字行的优先级，纯数字行可能会和chr行混排

二、Python 方案（适合需要自定义逻辑的场景） #

如果需要用Python处理，我们可以通过自定义排序键实现需求，同时针对超大文件提供分块排序的低内存版本：

基础版本（适合文件大小适中的情况） #

import re

def sort_key(line):
    # 拆分每行的列
    parts = line.strip().split()
    col1, col2 = parts[0], int(parts[1])
    
    # 定义排序优先级：纯数字行优先级0，非纯数字优先级1
    if col1.isdigit():
        return (0, int(col1), col2)
    else:
        # 提取chr后的数字部分（比如chr2提取2）
        num_match = re.search(r'\d+', col1)
        num_part = int(num_match.group()) if num_match else 0
        return (1, num_part, col1, col2)

# 读取文件、排序、写入结果
with open('final_merged.txt', 'r') as infile, open('merged-sort.txt', 'w') as outfile:
    # 读取所有行（如果文件超大，建议用下面的分块排序）
    lines = infile.readlines()
    # 按自定义键排序
    sorted_lines = sorted(lines, key=sort_key)
    outfile.writelines(sorted_lines)

超大文件分块排序版本（低内存占用） #

如果文件大到无法一次性加载到内存，用heapq实现分块排序，每次只处理一部分数据：

import re
import heapq

def sort_key(line):
    parts = line.strip().split()
    col1, col2 = parts[0], int(parts[1])
    if col1.isdigit():
        return (0, int(col1), col2)
    else:
        num_match = re.search(r'\d+', col1)
        num_part = int(num_match.group()) if num_match else 0
        return (1, num_part, col1, col2)

def chunk_sort(input_path, output_path, chunk_size=100000):
    chunks = []
    with open(input_path, 'r') as infile:
        chunk = []
        for line in infile:
            chunk.append(line)
            # 当块大小达到阈值时，排序并保存为迭代器
            if len(chunk) >= chunk_size:
                chunk.sort(key=sort_key)
                chunks.append(iter(chunk))
                chunk = []
        # 处理剩余的最后一块
        if chunk:
            chunk.sort(key=sort_key)
            chunks.append(iter(chunk))
    
    # 合并所有已排序的块并写入结果
    with open(output_path, 'w') as outfile:
        for line in heapq.merge(*chunks, key=sort_key):
            outfile.write(line)

# 调用分块排序
chunk_sort('final_merged.txt', 'merged-sort.txt')

两种方案都能满足你的需求，其中Unix工具方案在处理超大文件时效率更高、内存占用更低，推荐优先使用。

内容的提问来源于stack exchange，提问作者everestial