DataFrame含文本列导致标准差返回NaN 如何保留列完成计算
问题根因说明
你之前设置skipna=True依然算不出正确结果,本质是对参数的作用理解错了:
skipna=True的功能只是跳过计算过程中遇到的空值,根本不会自动排除非数值类型的列。你的Respondants列存的是文本,哪怕把skipna开到满,pandas也没法对文本算标准差,自然返回NaN。- 你之前拆分Excel、删列计算再加回列、最后合并的临时方案完全是冗余操作。pandas支持在计算时临时排除指定列,不需要真的修改原表结构,完全可以完整保留Respondants列供后续散点图分组使用,根本没必要大费周章改数据结构。
可直接替换的代码方案
根据你的实际计算需求选对应写法即可,所有方案都不会改动原表的列结构:
方案1:计算每一行的1-5分响应标准差
如果你的需求是给每个样本,算除Respondants列外所有1-5分题项的行向标准差,直接临时排除目标列计算即可。如果你的df1和原df的行索引完全对齐,计算结果可以直接赋值给df1的对应列:
# drop操作仅在计算时临时移除Respondants列,原表该列完全保留 df1['std dev'] = df.drop(columns=['Respondants']).std(axis=1, skipna=True)
一行代码就能实现效果,和你之前的临时方案结果完全一致,但流程简单太多。
方案2:逐题项计算全样本的响应标准差
如果你的需求是按题项维度,算所有样本在每道题上的响应标准差,直接筛选所有数值类型的列参与计算即可,文本类的Respondants列会被自动排除:
# 自动筛选所有整数、浮点类型的列,跳过文本类字段 std_result = df.select_dtypes(include=['number']).std(skipna=True)
方案3:按Respondants分组计算各组的响应标准差
如果后续散点图需要对比不同分组的响应差异,直接用分组聚合即可,不需要手动拆分数据集:
# 按Respondants列分组,计算组内所有1-5分题项的标准差 grouped_std = df.drop(columns=['Respondants']).groupby(df['Respondants']).std()
原有代码的逻辑偏差
你目前用的df1['std dev']=df.std(skipna=True)本身存在两个逻辑问题:
df.std()默认是逐列计算的,返回的结果长度等于DataFrame的列数,和原表的行数对不上,直接把这个结果当成新列赋值的话,会出现索引错位,根本得不到和样本一一对应的标准差结果。- 计算范围包含了文本类型的
Respondants列,这不是空值的问题,和skipna参数的设置完全无关。
内容的提问来源于stack exchange,提问作者Steve
相关产品推荐
相关产品推荐

