如何使用pandas清理TSV文件仅保留单词和标签字段

• 首先确保环境已安装pandas，未安装可执行命令：pip install pandas
• 导入pandas库

import pandas as pd

• 读取本地TSV格式文件，TSV为制表符分隔，需指定分隔符参数

# 若文件自带表头，直接读取
df = pd.read_csv("你的TSV文件路径.tsv", sep="\t")
# 若文件无表头，可读取时手动指定列名
# df = pd.read_csv("你的TSV文件路径.tsv", sep="\t", header=None, names=["列名1", "列名2", "列名3"...])

• 可先查看当前所有列名，确认要保留的单词、标签字段对应的列名

print(df.columns.tolist())

• 仅保留目标的单词、标签两列，将示例中的单词列名、标签列名替换为上一步查到的实际列名即可

df_clean = df[["单词列名", "标签列名"]]

• 可选二次清洗：删除空值、重复行

df_clean = df_clean.dropna().drop_duplicates()

• 导出清洗后的数据

# 导出为TSV格式
df_clean.to_csv("清洗后结果.tsv", sep="\t", index=False)
# 如需导出为CSV格式可执行
# df_clean.to_csv("清洗后结果.csv", index=False)

内容的提问来源于stack exchange，提问作者Chang