Pandas跨DataFrame匹配取值、生成新变量及日期转换报错求助

1. DataFrame匹配与price2变量生成 #

假设A和B通过共同标识列（比如item_id和date1）完成匹配，按以下步骤操作：

• 提前筛选B中仅需的匹配列和r1列，减少计算开销
• 用merge完成匹配，根据需求选how参数：left保留A所有行，inner只留匹配成功的行
• 生成price2时，处理r1为空或0的情况，避免除以0报错

# 1. 匹配A和B，提取r1列
merged_df = pd.merge(
    A,
    B[['item_id', 'date1', 'r1']],  # 只保留必要列
    on=['item_id', 'date1'],
    how='left'  # 按需替换为'inner'
)

# 2. 生成price2变量，处理异常值
merged_df['price2'] = merged_df.apply(
    lambda row: (row['price1'] / row['r1']) * 100 
    if pd.notna(row['r1']) and row['r1'] != 0 
    else pd.NA,  # 异常值标记为缺失
    axis=1
)

2. 日期列转换TypeError修复 #

报错原因是date1列存在不符合YYYYMM格式的值（比如空字符串、非6位数字、含特殊字符），按以下步骤修复：

# 第一步：清理date1列，确保为字符串并去除多余空格
df0['date1'] = df0['date1'].astype(str).str.strip()

# 第二步：转换为日期类型，错误值转为NaT（缺失日期）
df0['date1'] = pd.to_datetime(df0['date1'], format='%Y%m', errors='coerce')

# 可选：如果需要转为YYYY-MM格式的字符串
df0['date1_formatted'] = df0['date1'].dt.strftime('%Y-%m')

关键说明： #

• errors='coerce'会把所有不符合格式的值转为NaT，避免触发TypeError
• 可通过df0['date1'].isna().sum()查看异常值数量，再决定是否进一步清理

3. 900万条面板数据处理建议 #

针对大数据量，优化内存和速度：

• 读取数据时指定dtype，压缩内存：

  df0 = pd.read_csv('your_file.csv', dtype={'date1': str, 'price1': 'float32', 'r1': 'float32'})
  

• 只加载需要的列，用usecols参数筛选：

  df0 = pd.read_csv('your_file.csv', usecols=['date1', 'price1', 'item_id'])
  

• 合并前只保留匹配和计算所需的列，减少冗余数据
• 若内存不足，用chunksize分块读取处理，或尝试Dask库处理超大数据集

内容的提问来源于stack exchange，提问作者user19990680