如何将文件夹内brat标注的多个ann文件读取合并为单个pandas dataframe
多ann文件合并为单个Pandas DataFrame 解决方案
实现逻辑
- 遍历目标文件夹下所有
.ann后缀的文件 - 沿用你已有的单文件读取逻辑读取每个文件为DataFrame
- 把所有单文件DataFrame存入列表后统一合并,避免多次concat导致的性能或格式问题
- 可选新增来源文件名列,方便后续数据排查
完整代码
import pandas as pd import os # 替换为你的ann文件所在文件夹路径 ann_dir = "./your_ann_files_dir" df_collection = [] for file_name in os.listdir(ann_dir): if not file_name.endswith(".ann"): continue full_path = os.path.join(ann_dir, file_name) # 读取单个ann文件,参数和你原有逻辑保持一致 tmp_df = pd.read_csv(full_path, sep='^([^\s]*)\s', engine='python', header=None).drop(0, axis=1) # 可选:新增来源文件名列,不需要可以删除这行 tmp_df["source_ann_file"] = file_name df_collection.append(tmp_df) # 合并所有数据,重置索引避免索引重复 merged_df = pd.concat(df_collection, ignore_index=True) # 验证合并结果 print(f"合并后总行数:{merged_df.shape[0]}, 总列数:{merged_df.shape[1]}") merged_df.head()
常见问题排查
如果之前使用concat得到的结果不符合预期,大概率是不同ann文件读取后的列数量不一致导致的,可以用如下代码校验每个文件的读取结果:
for i, tmp_df in enumerate(df_collection): print(f"文件{i+1} {tmp_df['source_ann_file'].iloc[0]} 列数:{len(tmp_df.columns)}")
找到列数异常的文件,先修正文件格式或者单独处理该文件的读取逻辑后,再进行合并即可。
内容的提问来源于stack exchange,提问作者Hildee
相关产品推荐
相关产品推荐

