You need to enable JavaScript to run this app. Python中如何合并多时间点pandas数据框以构建商品价格趋势表
优惠活动
大模型
产品
解决方案
定价
更多

Python中如何合并多时间点pandas数据框以构建商品价格趋势表

多周期电商爬取价格数据的整合实现

整合的核心逻辑很简单:不需要逐行手动对齐不同日期的表格,只要以商品名称作为匹配关联键,把分散在各日期表的价格横向拼接成宽表即可。全程不需要在意不同表之间的行先后顺序、商品覆盖范围的差异,pandas会自动完成匹配、补全缺失值的操作。

具体实现步骤

  • 遍历读取所有历史采集的csv文件,对每个单表做标准化预处理:
    • 清理商品名字段的脏数据,去掉首尾空格、统一大小写,避免同一个商品因为爬取误差被当成不同条目
    • 移除同一次采集里的重复商品条目,避免后续拼接出重复行
    • 把商品名设置为数据表索引,将原来的Price列重命名为对应采集的日期标签
  • 把所有预处理好的单表按横向方向拼接,拼接时pandas会自动按照商品名索引对齐,某日期表没出现的商品,对应位置自动填充NA值
  • 拼接完成后把商品名从索引转回普通列,就能得到符合要求的最终结构化数据表

示例代码

首先导入依赖库:
import pandas as pd

先准备和场景匹配的模拟单表数据(行顺序、商品集合和真实场景一致):

# 昨天采集的原始数据表
df_yesterday = pd.DataFrame({
    "Item": ["Car", "Bike"],
    "Price": [100, 200]
})
# 今天采集的原始数据表,行顺序、商品集合和昨天的表不一致
df_today = pd.DataFrame({
    "Item": ["House", "Car"],
    "Price": [300000, 95]
})

编写通用的单表预处理函数:

def preprocess_crawled_df(raw_df, date_label):
    # 清理商品名字段的格式
    raw_df["Item"] = raw_df["Item"].str.strip().str.lower()
    # 移除同一次采集的重复商品,保留最后一次记录的价格
    raw_df = raw_df.drop_duplicates(subset="Item", keep="last")
    # 以商品名为索引,丢弃表格原有的物理行顺序
    processed_df = raw_df.set_index("Item")
    # 将价格列重命名为对应采集日期
    processed_df = processed_df.rename(columns={"Price": date_label})
    return processed_df

执行拼接逻辑:

# 批量预处理所有日期的采集数据
processed_datasets = [
    preprocess_crawled_df(df_yesterday, "yesterday"),
    preprocess_crawled_df(df_today, "today")
]
# 横向拼接所有数据,自动按商品索引对齐,缺失值自动填充NaN
final_price_df = pd.concat(processed_datasets, axis=1)
# 把商品名从索引转回第一列,调整为目标结构
final_price_df = final_price_df.reset_index(names="Item")

运行后得到的最终表结构完全匹配需求:

Itemyesterdaytoday
bike200.0NaN
car100.095.0
houseNaN300000.0

表中每一行对应一个唯一商品,后续每列是对应采集日期的价格,未采集到的位置自动标记NA,可直接用于后续的价格趋势分析。

如果积累了大量历史csv文件,可以结合文件遍历逻辑批量处理,自动从文件名提取采集日期当列名,不用手动逐个加载、重命名。

实操注意事项

  • 一定要在预处理阶段做商品名标准化,不然爬取时出现的空格、大小写差异会导致同一个商品被拆分出多个条目,出现不必要的NA值
  • 如果单次采集时同一商品出现了多个价格,要在预处理阶段做去重,避免拼接后出现重复行
  • 拼接完成后如果需要按时间顺序排列列,只要对列名按时间排序即可,不影响最终分析逻辑

内容的提问来源于stack exchange,提问作者Razeen

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.07 21:24:08