按条件从矩阵取数:按日期获取最小Data_Value及pandas代码问题排查
代码问题梳理
初始循环代码的错误点
- 变量名冲突:循环内将格式化后的日期字符串命名为
date,覆盖了之前导入的datetime.date类,后续很容易触发类型不匹配的报错。 - 比较逻辑完全错位:代码中写的
df_TMIN['Data_Value'] == date.min()没有实际意义:date是循环生成的字符串,字符串的min()方法只会返回字符中ASCII码最小的单字符,和日期筛选完全无关- 本意是匹配当前循环日期和DataFrame内的
Date列,实际却拿Data_Value列做了完全不相关的比较
- 实现思路冗余:逐天循环遍历匹配数据的效率极低,pandas的分组聚合可以完全替代该逻辑,不需要手写循环。
调整后代码不生效的原因
- 没有接收分组计算的返回值:
groupby().agg().reset_index()的执行结果是全新的DataFrame,不会原地修改原df。代码里这行没有把结果赋值给任何变量,聚合计算完成后就直接被回收,原df没有任何变化。 - 操作顺序颠倒:代码先执行了无效的分组计算,后续又对原
df执行drop删列操作,就算分组结果被正确赋值,后续的删列逻辑依然作用在未聚合的原始数据上,完全达不到聚合效果。
正确实现代码示例
import pandas as pd # 读取原始数据 df = pd.read_csv('data/C2A2_data/BinnedCsvs_d400/fb441e62df2d58994928907a91895ec62c2c42e6cd075c2700843b89.csv') # 按日期分组,取每日最小Data_Value daily_min_df = df.groupby('Date', as_index=False)['Data_Value'].min() # 如需补全2005-01-01到2015-01-01的完整日期范围,可执行以下代码对齐 full_dates = pd.date_range('2005-01-01', '2015-01-01', freq='D').strftime('%Y-%m-%d') daily_min_df = daily_min_df.set_index('Date').reindex(full_dates).reset_index(names='Date')
内容的提问来源于stack exchange,提问作者jpen
相关产品推荐
相关产品推荐

