如何提取基因文件中指定个体的transcript及DD/GG信息？

针对你的5万行基因数据文件，以下是两种高效的处理方案，完全匹配需求：保留DD、GG的所有字段，仅保留AB、BB、CA中包含transcript=的字段。

awk方案（高效处理大文件） #

awk适合处理大规模文本，执行速度快，无需加载整个文件到内存。

脚本写法 #

创建clean.awk脚本文件，内容如下：

BEGIN { FS="\t"; OFS="\t" }
{
    out_content = ""
    # 遍历每一个字段
    for (i=1; i<=NF; i++) {
        # 保留所有DD:、GG:开头的字段
        if ($i ~ /^DD:/ || $i ~ /^GG:/) {
            out_content = out_content (out_content ? OFS : "") $i
        }
        # 保留AB/BB/CA开头且包含transcript=的字段
        else if (($i ~ /^AB:/ || $i ~ /^BB:/ || $i ~ /^CA:/) && $i ~ /transcript=/) {
            out_content = out_content (out_content ? OFS : "") $i
        }
    }
    # 仅输出非空行（避免全字段被过滤的空行）
    if (out_content != "") print out_content
}

执行命令 #

在终端运行：

awk -f clean.awk text.txt > cleaned.txt

也可以直接用一行命令执行，无需创建脚本：

awk 'BEGIN{FS="\t";OFS="\t"}{out="";for(i=1;i<=NF;i++){if($i~/^DD:/||$i~/^GG:/){out=out (out?OFS:"") $i}else if(($i~/^AB:/||$i~/^BB:/||$i~/^CA:/)&&$i~/transcript=/){out=out (out?OFS:"") $i}}if(out!="")print out}' text.txt > cleaned.txt

Python方案（灵活可扩展） #

如果需要后续扩展处理逻辑，Python代码更易维护，同样支持逐行读取避免内存溢出。

代码实现 #

创建clean.py文件，内容如下：

# 逐行读取输入文件，处理后写入输出文件
with open('text.txt', 'r', encoding='utf-8') as infile, open('cleaned.txt', 'w', encoding='utf-8') as outfile:
    for line in infile:
        # 去除换行符，保留制表符分隔的字段结构
        raw_line = line.rstrip('\n')
        fields = raw_line.split('\t')
        filtered_fields = []
        
        for field in fields:
            # 保留DD、GG的所有字段
            if field.startswith(('DD:', 'GG:')):
                filtered_fields.append(field)
            # 保留AB/BB/CA中含transcript=的字段
            elif field.startswith(('AB:', 'BB:', 'CA:')) and 'transcript=' in field:
                filtered_fields.append(field)
        
        # 仅写入有有效字段的行
        if filtered_fields:
            outfile.write('\t'.join(filtered_fields) + '\n')

执行命令 #

在终端运行：

python clean.py

注意事项 #

• 确认文件字段确实是制表符分隔，如果是空格或其他分隔符，需调整FS（awk）或split的参数（Python）
• 5万行规模下，awk的执行速度会明显快于Python
• 如果字段中存在特殊转义字符，可根据实际情况调整正则或字符串匹配逻辑

内容的提问来源于stack exchange，提问作者zzz