使用全量461个Code时Python代码出现NaN值问题求助

可能原因 #

• 部分Code在CSV数据中无匹配记录，处理全量时这些Code会生成NaN
• Code格式不一致（如大小写、空格、数据类型差异）导致匹配失败
• 数据聚合/合并时的连接方式（如左连接）引入缺失值
• 批量处理逻辑存在疏漏（虽数据量小，但仍需排查）

排查与解决步骤 #

1. 检查缺失的Code #

先确认哪些Code在CSV中没有对应数据：

import pandas as pd

# 读取数据
df = pd.read_csv("your_data.csv")
# 替换为你的461个Code列表
full_code_list = [...]  

# 转换为集合求差集，找出无数据的Code
data_codes = set(df["Code"].unique())
missing_codes = set(full_code_list) - data_codes
print(f"无对应数据的Code数量: {len(missing_codes)}")
print(f"缺失Code列表: {missing_codes}")

如果存在缺失Code，可根据需求处理：补充对应数据，或用fillna()填充默认值（如0、均值等）。

2. 统一Code格式 #

确保列表中的Code与CSV中的格式完全一致：

# 将CSV中的Code转为字符串并去除首尾空格
df["Code"] = df["Code"].astype(str).str.strip()
# 同步处理全量Code列表
full_code_list = [str(code).strip() for code in full_code_list]

3. 修正数据处理逻辑 #

若使用groupby后重新索引全量Code，显式处理缺失值：

# 按Code聚合计算（示例为求和，替换为你的实际逻辑）
agg_result = df.groupby("Code")["TargetColumn"].sum()
# 对齐全量Code列表，填充缺失值
final_result = agg_result.reindex(full_code_list).fillna(0)

若使用merge操作，注意连接方式：

• 使用inner join会自动过滤无匹配的Code，但会丢失这些Code的记录
• 使用left join后需用fillna()处理NaN

4. 排查批量处理逻辑 #

若你是通过循环逐个处理Code，检查循环中是否有变量覆盖、条件判断错误等问题。可以打印小批量（50个）和全量处理的中间结果，对比差异定位问题。

内容的提问来源于stack exchange，提问作者Vedran