使用Pandas处理API数据时to_datetime报ValueError问题排查

1. 代码中未定义变量的低级错误 #

你的返回语句里使用了self.aggregation_column，但这个变量从未在类的初始化方法中定义，必须替换为self.sum_column，否则会先触发NameError。

2. 累计和计算逻辑错误 #

当前写法df['cumulative_sum'] = df[self.sum_column] + self.cumulative_sum只是把每个数值加上初始的0，并没有实现真正的累加效果。正确的累计和应该结合cumsum()方法，同时保留跨调用的累计值：

df['cumulative_sum'] = df[self.sum_column].cumsum() + self.cumulative_sum

3. 日期解析错误（触发你看到的ValueError） #

报错ValueError: to assemble mappings requires at least that [year, month, day] be specified是因为pd.to_datetime无法正确识别API返回的日期格式。虽然你提供的测试数据是标准的YYYY-MM-DD格式，但实际API返回的日期大概率是其他格式（比如DD/MM/YYYY、MM-DD-YYYY或非标准字符串），导致Pandas无法判断年、月、日的顺序。

解决方法：

• 明确指定日期格式：如果已知API返回的日期格式，比如DD/MM/YYYY，添加format参数：

  df[self.sort_by_column] = pd.to_datetime(df[self.sort_by_column], format="%d/%m/%Y")
  

• 如果日期格式不固定但日在前，使用dayfirst=True参数：

  df[self.sort_by_column] = pd.to_datetime(df[self.sort_by_column], dayfirst=True)
  

修正后的完整代码 #

class CumulativeProcessor:
    def __init__(self, sum_column, sort_by_column):
        self.sum_column = sum_column
        self.sort_by_column = sort_by_column
        self.cumulative_sum = 0

    def get_cum_sum(self, response_data):
        df = pd.DataFrame(response_data['rows'])
        # 根据实际API返回的日期格式调整format参数
        df[self.sort_by_column] = pd.to_datetime(df[self.sort_by_column], format="%Y-%m-%d")
        df = df.sort_values(by=self.sort_by_column)

        # 正确计算带历史累计的累加值
        df['cumulative_sum'] = df[self.sum_column].cumsum() + self.cumulative_sum
        self.cumulative_sum = df['cumulative_sum'].iloc[-1]

        # 替换未定义的变量为正确的sum_column
        return df[[self.sort_by_column, self.sum_column, 'cumulative_sum']]


cumulative_processor = CumulativeProcessor(sum_column='sales', sort_by_column='date')

data = {
    "rows": [
        {"sales": 90, "date": "2024-01-01"},
        {"sales": 50, "date": "2024-01-02"},
        {"sales": 150, "date": "2024-01-03"}
    ]
}

results = cumulative_processor.get_cum_sum(data)

print(results)

内容的提问来源于stack exchange，提问作者Grooth