如何使用pandas去除XLSX文件中的冗余数据？

以下是针对不同冗余场景的具体解决方案：

1. 去除重复行 #

重复行是最常见的冗余类型，可通过drop_duplicates()快速处理：

import pandas as pd

# 读取目标XLSX文件
df = pd.read_excel("target_file.xlsx")

# 移除所有完全重复的行（默认保留首次出现的行）
df_cleaned = df.drop_duplicates()

# 若需基于特定列判断重复（例如按"用户ID"列）
df_cleaned = df.drop_duplicates(subset=["用户ID"], keep="last")  # keep可选"first"/"last"/False（删除所有重复项）

# 保存清理后的文件
df_cleaned.to_excel("cleaned_file.xlsx", index=False)

2. 删除空行/空列 #

清理全空的行或列，避免无效数据占用空间：

# 删除所有单元格为空的行
df_cleaned = df.dropna(how="all")

# 删除至少包含3个空值的行（可根据需求调整阈值）
df_cleaned = df.dropna(thresh=3)

# 删除所有单元格为空的列
df_cleaned = df.dropna(axis=1, how="all")

3. 清理重复表头或注释行 #

如果文件中存在重复的表头行、注释行等无关数据，可通过条件筛选移除：

# 假设表头关键字为"姓名"，删除所有值等于"姓名"的重复表头行
df_cleaned = df[df["姓名"] != "姓名"]

# 重置索引（避免删除行后索引断裂）
df_cleaned = df_cleaned.reset_index(drop=True)

4. 清理字符串冗余格式 #

处理字符串列的前后空格、特殊字符等格式冗余：

# 对所有字符串类型列去除前后空格
df_cleaned = df.apply(lambda col: col.str.strip() if col.dtype == "object" else col)

# 移除字符串中的特殊字符（例如换行符）
df_cleaned["备注"] = df_cleaned["备注"].str.replace("\n", "")

内容的提问来源于stack exchange，提问作者Varshinee R