Python处理DataFrame重复模式行：提取最小值报错及优化问询

报错原因 #

出现ValueError: '0.009' is not in list的核心原因是浮点数精度转换导致的字符串不匹配：

• 你的函数大概率存在“将/后的四位小数字符串转成float计算最小值，再把该float转回字符串去原列表查找对应条目”的逻辑。
• 比如原数据中的0.0091转成float后，由于浮点数的二进制存储特性，转回字符串时可能被截断为0.009，但原列表里只有0.0091，自然找不到匹配项，触发报错。
• 你明确数据都是四位小数，所以正则提取截断的可能性极低，浮点数转换问题是主因。

函数异常行为判断 #

你的函数存在明显逻辑缺陷：

1. 浮点数转字符串匹配的错误：直接用float转回的字符串去匹配原始字符串，忽略了浮点数精度丢失的问题。
2. 若用字符串比较数值大小也是错误的：比如字符串0.01会被认为比0.0099小，但实际数值0.01 > 0.0099，会导致筛选出错误的“最小值”条目。

更优实现方案 #

推荐两种高效实现方式，均避免浮点数转字符串匹配的问题，直接绑定条目与对应数值进行筛选：

方式1：自定义函数+apply（易理解，适合中小数据集） #

import re
import pandas as pd

def get_min_entry(s):
    # 提取所有符合`x.x.x.x/0.xxxx`格式的条目
    entries = re.findall(r'(\d+\.\d+\.\d+\.\d+/0\.\d{4})', str(s))
    if len(entries) <= 1:
        return s  # 无多个条目则返回原内容
    # 绑定每个条目与对应的浮点数值
    entry_val_pairs = [(entry, float(entry.split('/')[1])) for entry in entries]
    # 按数值从小到大排序，取最小的原条目
    return sorted(entry_val_pairs, key=lambda x: x[1])[0][0]

# 应用到目标列（假设第二列名为col2）
df['col2'] = df['col2'].apply(get_min_entry)

方式2：矢量化处理（pandas原生方法，适合大数据集） #

利用str.extractall批量提取数据，再分组筛选最小值，性能远高于循环/apply：

import pandas as pd

# 提取所有匹配条目及对应的四位小数部分
extracted = df['col2'].str.extractall(r'(?P<entry>\d+\.\d+\.\d+\.\d+/0\.(?P<val>\d{4}))')
# 将四位小数字符串转成0.xxxx格式的浮点数
extracted['val'] = extracted['val'].astype(int) / 10000

# 按原行索引分组，找到数值最小的对应条目
min_entries = extracted.groupby(level=0).apply(
    lambda x: x.loc[x['val'].idxmin(), 'entry']
)

# 更新原DataFrame的对应行
df.loc[min_entries.index, 'col2'] = min_entries

关键优化点 #

• 全程保留原始条目，仅将数值部分转成float用于比较，避免字符串匹配问题。
• 正则表达式严格限定四位小数，防止意外提取无效数值。
• 矢量化方法避开了逐行循环，处理大数据集时效率提升显著。

内容的提问来源于stack exchange，提问作者Someone_1313