Python聚合函数处理object类型失效，pandas导入CSV列类型异常

看起来你踩了pandas自动类型推断的典型坑——当CSV里的数值列混了非数值内容（比如特殊格式的空值、字符串垃圾数据），pandas就会把这类列识别成object类型，导致后续像sum这类聚合函数直接罢工，甚至手动转换都可能因为藏在列里的脏数据失败。下面一步步给你解决思路：

1. 先定位问题根源：揪出列里的脏数据 #

首先得搞清楚这两列里到底藏了什么非数值内容，才导致类型识别异常：

import pandas as pd

# 先读取原始数据（不做任何类型处理）
df = pd.read_csv("你的CSV文件路径.csv")

# 查看目标列的所有唯一值，找异常项
print("total_imp_pma列的唯一值：")
print(df["total_imp_pma"].unique())
print("\nchar_value_aa503列的唯一值：")
print(df["char_value_aa503"].unique())

你大概率会看到类似["123", "456", "NA", " ", "N/A", "—"]这类混合值，这些就是让pandas把列识别成object的元凶。

2. 读取阶段就处理脏数据，避免类型推断错误 #

最稳妥的方式是在读取CSV时，直接把这些非数值的"假空值"转换成pandas能识别的NaN，同时强制指定列类型：

# 定义所有需要识别为NaN的字符串（根据你刚才查到的异常值调整）
custom_na_values = ["NA", "N/A", " ", "—", "null"]

# 读取时指定na_values，让pandas自动把这些值转成NaN，同时指定数值类型
df = pd.read_csv(
    "你的CSV文件路径.csv",
    na_values=custom_na_values,
    dtype={"total_imp_pma": float, "char_value_aa503": float}
)

如果读取时还是报错，说明列里有更顽固的脏数据（比如带逗号的数字、隐藏特殊字符），可以用converters参数自定义转换函数：

def safe_convert_to_numeric(x):
    # 先清理字符串里的多余字符（比如逗号、空格）
    cleaned = str(x).strip().replace(",", "")
    try:
        return float(cleaned)
    except ValueError:
        # 转换失败就返回NaN
        return pd.NA

df = pd.read_csv(
    "你的CSV文件路径.csv",
    converters={
        "total_imp_pma": safe_convert_to_numeric,
        "char_value_aa503": safe_convert_to_numeric
    }
)

3. 修复已读取数据的列类型 #

如果已经读取了数据才发现类型问题，用pd.to_numeric()强制转换，记得加上errors="coerce"把无法转换的值转成NaN：

# 转换目标列
df["total_imp_pma"] = pd.to_numeric(df["total_imp_pma"], errors="coerce")
df["char_value_aa503"] = pd.to_numeric(df["char_value_aa503"], errors="coerce")

# 提取数值列生成base_varlist4
base_varlist4 = df.select_dtypes(include=["int64", "float64"])

# 验证类型是否正常
print(base_varlist4.dtypes)

4. 验证聚合函数是否正常工作 #

现在再试一下聚合函数，应该就能正常计算了：

# 计算数值列的总和
print(base_varlist4.sum())
# 其他聚合函数也可以正常使用
print(base_varlist4.mean())

关键提醒 #

• 不要依赖pandas的自动类型推断，尤其是数据来源不确定时，尽量手动指定dtype或用na_values统一处理空值；
• 转换类型时一定要处理转换错误，否则残留的object类型会导致聚合函数失效；
• 如果转换后还有NaN，可以用base_varlist4.fillna(0)把空值填充为0（根据业务需求调整），避免聚合时自动忽略这些值。

内容的提问来源于stack exchange，提问作者Aaraeus