Python中如何合并多时间点pandas数据框以构建商品价格趋势表
多周期电商爬取价格数据的整合实现
整合的核心逻辑很简单:不需要逐行手动对齐不同日期的表格,只要以商品名称作为匹配关联键,把分散在各日期表的价格横向拼接成宽表即可。全程不需要在意不同表之间的行先后顺序、商品覆盖范围的差异,pandas会自动完成匹配、补全缺失值的操作。
具体实现步骤
- 遍历读取所有历史采集的csv文件,对每个单表做标准化预处理:
- 清理商品名字段的脏数据,去掉首尾空格、统一大小写,避免同一个商品因为爬取误差被当成不同条目
- 移除同一次采集里的重复商品条目,避免后续拼接出重复行
- 把商品名设置为数据表索引,将原来的Price列重命名为对应采集的日期标签
- 把所有预处理好的单表按横向方向拼接,拼接时pandas会自动按照商品名索引对齐,某日期表没出现的商品,对应位置自动填充NA值
- 拼接完成后把商品名从索引转回普通列,就能得到符合要求的最终结构化数据表
示例代码
首先导入依赖库:import pandas as pd
先准备和场景匹配的模拟单表数据(行顺序、商品集合和真实场景一致):
# 昨天采集的原始数据表 df_yesterday = pd.DataFrame({ "Item": ["Car", "Bike"], "Price": [100, 200] }) # 今天采集的原始数据表,行顺序、商品集合和昨天的表不一致 df_today = pd.DataFrame({ "Item": ["House", "Car"], "Price": [300000, 95] })
编写通用的单表预处理函数:
def preprocess_crawled_df(raw_df, date_label): # 清理商品名字段的格式 raw_df["Item"] = raw_df["Item"].str.strip().str.lower() # 移除同一次采集的重复商品,保留最后一次记录的价格 raw_df = raw_df.drop_duplicates(subset="Item", keep="last") # 以商品名为索引,丢弃表格原有的物理行顺序 processed_df = raw_df.set_index("Item") # 将价格列重命名为对应采集日期 processed_df = processed_df.rename(columns={"Price": date_label}) return processed_df
执行拼接逻辑:
# 批量预处理所有日期的采集数据 processed_datasets = [ preprocess_crawled_df(df_yesterday, "yesterday"), preprocess_crawled_df(df_today, "today") ] # 横向拼接所有数据,自动按商品索引对齐,缺失值自动填充NaN final_price_df = pd.concat(processed_datasets, axis=1) # 把商品名从索引转回第一列,调整为目标结构 final_price_df = final_price_df.reset_index(names="Item")
运行后得到的最终表结构完全匹配需求:
| Item | yesterday | today |
|---|---|---|
| bike | 200.0 | NaN |
| car | 100.0 | 95.0 |
| house | NaN | 300000.0 |
表中每一行对应一个唯一商品,后续每列是对应采集日期的价格,未采集到的位置自动标记NA,可直接用于后续的价格趋势分析。
如果积累了大量历史csv文件,可以结合文件遍历逻辑批量处理,自动从文件名提取采集日期当列名,不用手动逐个加载、重命名。
实操注意事项
- 一定要在预处理阶段做商品名标准化,不然爬取时出现的空格、大小写差异会导致同一个商品被拆分出多个条目,出现不必要的NA值
- 如果单次采集时同一商品出现了多个价格,要在预处理阶段做去重,避免拼接后出现重复行
- 拼接完成后如果需要按时间顺序排列列,只要对列名按时间排序即可,不影响最终分析逻辑
内容的提问来源于stack exchange,提问作者Razeen
相关产品推荐
相关产品推荐

