如何批量从在线基因组注释txt文件提取FT行并生成Pandas DataFrame？

太理解你的痛点了——手动下载几千个大文件再提取效率太低！下面给你两种实用方案，不管是用终端快速批量处理，还是用Python直接生成Pandas DataFrame都能满足需求：

如果你习惯用终端工具，可以直接用curl流式请求文件，配合grep提取目标行，全程不用下载完整文件：

• 单个文件处理：

  curl -s "你的ENA文件URL" | grep "^FT"
  

  解释：-s让curl静默运行不输出冗余信息，grep "^FT"只匹配以FT开头的行（^是行首匹配符），结果直接输出到终端，也可以重定向到文件：

  curl -s "你的ENA文件URL" | grep "^FT" >> ft_lines.txt
  

• 批量处理URL列表：
  先把所有要处理的URL存到一个文本文件（比如urls.txt，每行一个URL），然后用循环批量处理：

  while read url; do
      curl -s "$url" | grep "^FT" >> all_ft_combined.txt
  done < urls.txt
  

  这样所有文件的FT行都会汇总到all_ft_combined.txt里，之后你可以用Python读取这个文件生成DataFrame。

如果要直接在Python里完成提取+DataFrame生成，推荐用流式请求逐行读取，避免加载大文件占用过多内存，非常适合批量处理数千个文件：

import requests
import pandas as pd
import time

def extract_ft_from_url(url):
    """从指定URL流式提取所有以FT开头的行"""
    ft_lines = []
    try:
        # 流式请求，逐行读取响应内容
        with requests.get(url, stream=True) as response:
            response.raise_for_status()  # 捕获请求错误（比如404、500）
            # 逐行解码并处理
            for line in response.iter_lines(decode_unicode=True):
                if line and line.startswith("FT"):
                    ft_lines.append(line)
    except Exception as e:
        print(f"处理URL {url}时出错: {str(e)}")
    return ft_lines

# 示例：替换成你的URL列表（可以从文件读取，比如pd.read_csv("urls.txt", header=None)[0].tolist()）
target_urls = [
    "https://www.ebi.ac.uk/ena/data/view/FO203355&display=text",
    # 更多URL...
]

# 批量提取所有FT行
all_ft_content = []
for idx, url in enumerate(target_urls, 1):
    print(f"正在处理第 {idx}/{len(target_urls)} 个文件: {url}")
    ft_lines = extract_ft_from_url(url)
    all_ft_content.extend(ft_lines)
    # 加个小延迟，避免触发ENA服务器的请求频率限制
    time.sleep(1)

# 转换为Pandas DataFrame
df = pd.DataFrame(all_ft_content, columns=["full_ft_line"])

# 可选：根据FT行的格式拆分列（比如按空格分割，根据实际注释结构调整）
# 示例拆分：假设FT行格式是 FT   feature_type  position  details...
# df[["prefix", "feature_type", "position", "details"]] = df["full_ft_line"].str.split(n=3, expand=True)

# 查看结果
print(df.head())
# 保存DataFrame到CSV文件
df.to_csv("genome_ft_features.csv", index=False)

注意事项 #

• EBI的ENA服务器有请求频率限制，批量处理时一定要加time.sleep()（比如1秒），否则可能被临时封禁IP；
• 如果URL列表很大，可以把URL存到CSV或文本文件里，用pd.read_csv读取，避免硬编码在代码里；
• 流式处理的内存占用极低，即使处理几千个大文件也不会出现内存溢出问题。

内容的提问来源于stack exchange，提问作者Stahlsocke