在Pandas DataFrame中定位唯一最长字符串并将其置为NaN

针对你的5×500k Pandas DataFrame，我来给你一套高效的实现方案——既能定位每列里仅出现一次的最长字符串，把它们转为NaN，还能完整记录这些异常值的索引和内容：

第一步：一次性计算所有列的字符串长度 #

先优化掉你原来循环里重复计算的冗余操作，直接生成整个DataFrame的字符串长度矩阵，对500k行的大数据量来说，这样能省不少性能：

import pandas as pd
import numpy as np

# astype(str)确保非字符串类型的列也能被正确转换后计算长度
str_lengths = df.astype(str).applymap(len)

第二步：定位每列的最大长度及唯一最长字符串 #

接下来我们找出每列的最大字符串长度，再筛选出那些最长字符串仅出现一次的列：

# 获取每列的最大字符串长度
max_lengths = str_lengths.max()

# 创建布尔掩码：标记每列中长度等于最大值的行
mask_max = str_lengths.eq(max_lengths)

# 统计每列中最大长度字符串的出现次数
count_max = mask_max.sum()

# 筛选出仅出现一次最长字符串的目标列
target_cols = count_max[count_max == 1].index

第三步：记录异常值并替换为NaN #

最后遍历目标列，收集这些唯一最长字符串的索引和值，同时把它们设为NaN：

# 用来存储异常值信息的字典
outliers_info = {}

for col in target_cols:
    # 获取该列中唯一最长字符串的索引和对应值
    idx = mask_max[col][mask_max[col]].index[0]
    val = df.loc[idx, col]
    outliers_info[col] = {"index": idx, "value": val}
    
    # 将该位置替换为NaN，pd.NA适配更多数据类型，旧版Pandas可以用np.nan
    df.loc[idx, col] = pd.NA

额外说明 #

• 这个方案只计算了一次所有列的字符串长度，避免了500k行的重复计算，比循环逐列计算高效很多；
• 如果你的DataFrame里有数字、日期这类非字符串类型的列，astype(str)会把它们转为字符串后再计算长度，确保结果准确；
• 最后得到的outliers_info字典会以列名为键，存储对应异常值的索引和原始值，方便你后续排查分析。

内容的提问来源于stack exchange，提问作者Karl Söderberg