时隔多年复用Python,求pandas匹配ASIN合并两个CSV数据的最佳实践
Pandas 双CSV按ASIN字段匹配关联实现方案
你不需要手动遍历DataFrame,直接用pandas内置的merge方法即可,这是经过优化的向量化关联操作,执行效率远高于手动循环遍历。
完整实现代码
import pandas as pd import os import numpy as np os.chdir('/someDirectory') # 读取两个CSV文件 dataFeedNames = pd.read_csv('productNamesAndSalesVelocity.csv', sep=',') dataFeedInventory = pd.read_csv('inventoryPerformance.csv') # 筛选需要的列,注意修正原代码中Inventory的拼写错误 selectedColumnsNames = dataFeedNames[['ASIN', 'Product Name', 'Inventory Quantity']] selectedColumnsInv = dataFeedInventory[['ASIN', 'Stocks']] # 按ASIN左连接匹配,保留第一个表的所有行,匹配第二个表的Stocks字段 merged_df = pd.merge( left=selectedColumnsNames, right=selectedColumnsInv, on='ASIN', how='left' ) # 可选:未匹配到的Stocks填充为0 # merged_df['Stocks'] = merged_df['Stocks'].fillna(0) # 转为numpy数组(如果需要的话) result_array = merged_df.to_numpy()
实现说明
- 这里用左连接(
how='left')是为了完整保留第一个表的所有商品记录,没有匹配到库存的商品Stocks字段会自动赋值为NaN,可根据需求用fillna填充默认值 - merge方法自动处理匹配逻辑,底层是优化过的向量化运算,万级以上数据量的执行效率比手动遍历高几十到上百倍
注意事项
- 如果库存表中同一个ASIN有多条记录,提前对库存表去重,比如保留最新的一条:
selectedColumnsInv = selectedColumnsInv.drop_duplicates(subset='ASIN', keep='last') - 匹配前可统一两个表ASIN的字段类型,避免因类型不一致导致匹配失败:
selectedColumnsNames['ASIN'] = selectedColumnsNames['ASIN'].astype(str).str.strip() selectedColumnsInv['ASIN'] = selectedColumnsInv['ASIN'].astype(str).str.strip()
内容的提问来源于stack exchange,提问作者Green Tea Kitty Cat
相关产品推荐
相关产品推荐

