如何修正代码，用指定参数的正态分布随机值填充DataFrame的NA？

首先，咱们先拆解你的需求和原代码的核心问题：

原代码的两个关键问题 #

1. 均值计算错误：你用df.quantile(0.01)得到的是每一列的1%分位数（返回一个Series），但需求是整个DataFrame所有非NA值的1%分位数，需要把所有数据拉平后计算。
2. 填充逻辑错误：np.random.normal(mu, sigma, 1)只生成一个随机值，无法对应DataFrame中多个不同的NA位置，需要生成和原DataFrame形状一致的随机数矩阵来逐个填充。

另外，你的标准差计算也有小疏漏：median(df.std(axis=1))没有指定正确的中位数函数（应该用np.median），而且如果某一行全是NA的话，该行的标准差会是NaN，需要先过滤掉这些NaN再计算中位数。

修正后的完整代码 #

import pandas as pd
import numpy as np

# 先构造你的示例DataFrame（如果是从文件读取，替换成你的read_csv代码即可）
data = {
    'A': [1, 2, 3, 4, 5],
    'B': [3, 3.4, 2.3, 3.1, 4.1],
    'C': [np.nan, 2.3, 0.1, 4.5, 2.5],
    'D': [4, 4.1, 0.2, 2.1, np.nan],
}
df = pd.DataFrame(data)
# 如果是从文件读取：
# df = pd.read_csv('try.txt', sep="\t")
# df.set_index('type', inplace=True)  # 用set_index更规范，避免del操作

# 1. 计算整个DataFrame所有非NA值的1%分位数（作为正态分布的均值mu）
mu = df.stack().quantile(0.01)

# 2. 计算各行标准差的中位数（作为正态分布的标准差sigma）
# 先算每行的标准差（跳过NA），然后过滤掉全NA行的NaN结果，再求中位数
row_stds = df.std(axis=1, skipna=True)
sigma = np.median(row_stds.dropna())

# 3. 生成和原DataFrame形状一致的正态分布随机数矩阵
random_fill = np.random.normal(mu, sigma, size=df.shape)

# 4. 用随机数填充NA，保留原非NA值
df_filled = df.where(df.notna(), random_fill)

print(df_filled)

关键步骤解释 #

1. 计算全局1%分位数：df.stack()会把二维的DataFrame转换成一维的Series（自动跳过NA），然后用quantile(0.01)计算整个数据集的1%分位数，得到一个单一的数值，完全符合需求。
2. 计算行标准差的中位数：df.std(axis=1, skipna=True)计算每行的标准差（跳过该行的NA），row_stds.dropna()去掉那些全NA行的NaN结果（避免影响中位数计算），最后用np.median得到中位数。
3. 批量生成随机填充值：np.random.normal(mu, sigma, size=df.shape)生成和原DataFrame完全一样大小的随机数矩阵，每个位置都是独立的正态分布值。
4. 填充NA：df.where(df.notna(), random_fill)的逻辑是：如果原位置不是NA，保留原值；如果是NA，用随机数矩阵对应位置的值填充，完美匹配每个NA的位置。

内容的提问来源于stack exchange，提问作者user4672728