如何用Z-score检测异常值并按条件替换为前有效值及解决相关报错

错误原因 #

你遇到的报错以及逻辑问题来自以下几处错误：

• 字符串语法错误：f "File.txt"中f修饰符和字符串之间不能有空格，且此处无需变量插值，可直接写为"File.txt"
• 嵌套列表错误：你将每一行拆分后的字符串列表直接存入img_intensity_list，导致整个列表变为二维嵌套结构，后续直接遍历该列表元素转float时，相当于把列表传入float()函数，直接触发报错
• 循环逻辑冗余：外层已经逐行遍历文件内容，不需要额外嵌套一层遍历整个img_intensity_list的循环
• 替换逻辑漏洞：直接取results[i-1]替换异常值的逻辑遇到连续异常值时，会拿到未处理的异常值，不符合「替换为前一个有效值」的要求

修正后完整代码 #

import numpy as np

threshold = -1.5
# 存储所有行处理后的结果
all_processed_results = []
all_outliers = []

with open("File.txt") as f:
    for line in f.readlines():
        # 处理单行数据，提取数值字符串列表
        line = line.strip()
        if not line:
            continue
        str_list = line.split("[")[1].split("]")[0].split(", ")
        # 转float数组
        results = [float(s) for s in str_list]
        # 计算当前行的均值和标准差
        mean = np.mean(results)
        std = np.std(results)
        # 处理异常值
        processed = []
        line_outliers = []
        last_valid = None
        for val in results:
            z = (val - mean) / std
            if z < threshold:
                # 是异常值，用前一个有效值替换
                line_outliers.append(val)
                processed.append(last_valid)
            else:
                # 是有效值，更新last_valid
                processed.append(val)
                last_valid = val
        # 存储当前行的处理结果
        all_processed_results.append(processed)
        all_outliers.extend(line_outliers)

# 可根据需要输出结果
print("检测到的所有异常值：", all_outliers)
print("处理后的所有行数据：", all_processed_results)

补充说明 #

如果存在行首第一个元素就是异常值的情况，上述代码中last_valid会为None，你可以根据业务需求调整逻辑，比如用第二个有效值填充，或者直接保留原值即可。

内容的提问来源于stack exchange，提问作者AMANDEEP KAUR