You need to enable JavaScript to run this app. 如何将文件夹内brat标注的多个ann文件读取合并为单个pandas dataframe
优惠活动
大模型
产品
解决方案
定价
更多

如何将文件夹内brat标注的多个ann文件读取合并为单个pandas dataframe

多ann文件合并为单个Pandas DataFrame 解决方案

实现逻辑

  • 遍历目标文件夹下所有.ann后缀的文件
  • 沿用你已有的单文件读取逻辑读取每个文件为DataFrame
  • 把所有单文件DataFrame存入列表后统一合并,避免多次concat导致的性能或格式问题
  • 可选新增来源文件名列,方便后续数据排查

完整代码

import pandas as pd
import os

# 替换为你的ann文件所在文件夹路径
ann_dir = "./your_ann_files_dir"
df_collection = []

for file_name in os.listdir(ann_dir):
    if not file_name.endswith(".ann"):
        continue
    full_path = os.path.join(ann_dir, file_name)
    # 读取单个ann文件,参数和你原有逻辑保持一致
    tmp_df = pd.read_csv(full_path, sep='^([^\s]*)\s', engine='python', header=None).drop(0, axis=1)
    # 可选:新增来源文件名列,不需要可以删除这行
    tmp_df["source_ann_file"] = file_name
    df_collection.append(tmp_df)

# 合并所有数据,重置索引避免索引重复
merged_df = pd.concat(df_collection, ignore_index=True)

# 验证合并结果
print(f"合并后总行数:{merged_df.shape[0]}, 总列数:{merged_df.shape[1]}")
merged_df.head()

常见问题排查

如果之前使用concat得到的结果不符合预期,大概率是不同ann文件读取后的列数量不一致导致的,可以用如下代码校验每个文件的读取结果:

for i, tmp_df in enumerate(df_collection):
    print(f"文件{i+1} {tmp_df['source_ann_file'].iloc[0]} 列数:{len(tmp_df.columns)}")

找到列数异常的文件,先修正文件格式或者单独处理该文件的读取逻辑后,再进行合并即可。

内容的提问来源于stack exchange,提问作者Hildee

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.08 03:33:04