数据表按日期分组拆分列生成costA等字段的最优实现方法咨询

最优实现方案：条件聚合（无需拆分表关联） #

核心逻辑是按日期分组后，通过条件判断分别对Source为A、B的指标做聚合计算，仅需一次扫描原始表即可得到结果，性能和可维护性都远优于拆分关联的实现。

标准SQL实现（兼容所有SQL引擎） #

SELECT 
    Date AS date,
    SUM(CASE WHEN Source = 'A' THEN Cost ELSE 0 END) AS costA,
    SUM(CASE WHEN Source = 'B' THEN Cost ELSE 0 END) AS costB,
    SUM(CASE WHEN Source = 'A' THEN Budget ELSE 0 END) AS budgetA,
    SUM(CASE WHEN Source = 'B' THEN Budget ELSE 0 END) AS budgetB
FROM 原始表名
GROUP BY Date
ORDER BY Date;

简化版SQL（支持IF函数的引擎可用，如MySQL、Spark SQL、Hive） #

SELECT 
    Date AS date,
    SUM(IF(Source = 'A', Cost, 0)) AS costA,
    SUM(IF(Source = 'B', Cost, 0)) AS costB,
    SUM(IF(Source = 'A', Budget, 0)) AS budgetA,
    SUM(IF(Source = 'B', Budget, 0)) AS budgetB
FROM 原始表名
GROUP BY Date
ORDER BY Date;

Python Pandas实现 #

import pandas as pd

# 读入原始数据得到df后，直接用pivot_table实现行转列
result = df.pivot_table(
    index="Date",
    columns="Source",
    values=["Cost", "Budget"],
    aggfunc="sum"
).reset_index()
# 重命名列符合要求的字段名
result.columns = ["date", "costA", "costB", "budgetA", "budgetB"]

方案优势 #

• 性能提升明显：仅需扫描一次原始表，没有拆分表、关联表的额外开销，数据量越大优势越突出
• 逻辑更可靠：避免了表关联可能带来的匹配错误、数据丢失/重复问题
• 扩展性强：后续如果需要新增Source=C的统计字段，仅需新增对应条件即可，无需修改整体逻辑

内容的提问来源于stack exchange，提问作者SNT