Python中以DataFrame代码为键合并数据及修复求和异常问题

看起来你已经走对了方向（melt+合并+分组求和），但求和结果远超预期，大概率是合并时出现笛卡尔积或者分数列类型异常导致的，下面一步步帮你定位问题并给出正确实现：

先明确数据结构（以示例为例） #

假设你的三个DataFrame结构如下（Rank为索引，列是日期）：

import pandas as pd

# 示例df1：代码
df1 = pd.DataFrame(
    {"2023-01-01": ["A001", "B001"], "2023-01-02": ["A001", "C001"]},
    index=[1, 2]
)

# 示例df2：名称
df2 = pd.DataFrame(
    {"2023-01-01": ["张三", "李四"], "2023-01-02": ["张三", "王五"]},
    index=[1, 2]
)

# 示例df3：分数
df3 = pd.DataFrame(
    {"2023-01-01": [100, 200], "2023-01-02": [150, 300]},
    index=[1, 2]
)

正确实现步骤 #

1. 统一melt为长格式（关键：保留Rank和日期关联） #

必须把每个宽表转成长表，同时保留Rank和date作为关联键，否则后续合并会出错：

# 处理df1：转成Rank + date + code的结构
df1_melt = df1.reset_index().melt(
    id_vars="Rank",  # 保留Rank作为关联键
    var_name="date",
    value_name="code"
)

# 同理处理df2和df3
df2_melt = df2.reset_index().melt(
    id_vars="Rank",
    var_name="date",
    value_name="name"
)

df3_melt = df3.reset_index().melt(
    id_vars="Rank",
    var_name="date",
    value_name="score"
)

2. 按Rank+date合并（避免笛卡尔积） #

合并时必须同时用Rank和date作为连接键，否则会出现同一个Rank的所有日期交叉匹配，导致数据膨胀：

# 先合并代码和名称
df_merged = pd.merge(df1_melt, df2_melt, on=["Rank", "date"], how="inner")
# 再合并分数
df_merged = pd.merge(df_merged, df3_melt, on=["Rank", "date"], how="inner")

3. 检查并转换分数列类型 #

如果分数列是字符串类型（比如带逗号、空格），求和时会变成字符串拼接，导致数值异常：

# 转换为数值类型，错误值设为0
df_merged["score"] = pd.to_numeric(df_merged["score"], errors="coerce").fillna(0)

4. 分组求和+去重名称 #

同一个代码的名称应该唯一，所以分组时取第一个/唯一值，分数求和：

# 按code分组，聚合名称和总分
grouped = df_merged.groupby("code").agg(
    name=("name", "first"),  # 确保同一个code对应同一个名称，若有不一致需检查原数据
    total_score=("score", "sum")
).reset_index()

# 按总分降序排序
grouped_sorted = grouped.sort_values("total_score", ascending=False)

5. 转换为目标字典 #

# 转成{code: [name, total_score]}的格式
result_dict = grouped_sorted.set_index("code").apply(
    lambda row: [row["name"], row["total_score"]], axis=1
).to_dict()

print(result_dict)
# 输出示例：{'C001': ['王五', 300], 'A001': ['张三', 250], 'B001': ['李四', 200']}

你可能踩的坑 #

1. 合并时只按Rank连接：如果只写on="Rank"，会导致每个Rank的所有日期和另一个DataFrame的所有日期匹配，产生笛卡尔积，数据行数暴增，求和结果自然异常。
2. 分数列是字符串类型：比如原数据中分数是"100"、"200"，直接求和会得到"100200"，看起来像超大数值，必须转成数值类型。
3. melt时丢失Rank索引：如果没有用reset_index()把Rank转为列，melt后无法关联三个DataFrame的对应行，合并后数据混乱。

排查小技巧 #

• 查看合并后df_merged的行数：应该等于Rank数量 × 日期数量，如果行数远大于这个数，就是笛卡尔积问题。
• 检查分数列类型：用df_merged["score"].dtype，如果是object，说明是字符串，需要转换。
• 查看分组前的重复code：用df_merged["code"].value_counts()，确认每个code的出现次数是否等于其参与的日期数。

内容的提问来源于stack exchange，提问作者denister