Pandas Merge结果异常咨询：多CSV关联逻辑正确性排查

问题背景 #

现有3份CSV数据：

• 门店商品表：记录各门店（storeID）对应的商品ID列表
• 门店视频分类表：记录门店、视频ID及视频所属分类
• 门店视频设备表：记录门店、视频ID及拍摄设备信息

目标是得到商品、对应应出现的视频及所属分类的关联列表，但执行代码后出现两个问题：

1. 用户选择的分类被应用到所有商品
2. 结果数据量异常庞大

核心问题：Merge逻辑触发笛卡尔积 #

你的代码最后一步的merge是问题根源：

final_df = pd.merge(filtered_df, assortiment_df, on='store_provider_id', how='inner')

• filtered_df的每一行是门店+单个视频+分类的记录（已经过滤了指定分类和设备）
• assortiment_df的每一行是门店+单个商品的记录
• 仅按store_provider_id（门店ID）做内连接时，会触发笛卡尔积：同一个门店下的每一条视频记录，会和该门店下的每一条商品记录强制配对。

举个例子：某门店有2个商品、3条符合条件的视频，merge后会生成2×3=6条记录，所有记录都会带上该视频的分类，看起来就像“分类被应用到所有商品”，同时数据量会呈倍数增长。

修正方案 #

需要根据实际业务需求调整逻辑，分两种常见场景：

场景1：允许商品与视频多对多关联（业务上确实需要每个商品对应门店的所有同分类视频） #

如果这是业务预期的结果，当前merge逻辑是正确的，但可以优化输出形式减少视觉上的“混乱”：

• 将同一商品对应的视频合并为列表，避免重复的商品行：

# 替代原final_df的merge和后续处理
final_df = pd.merge(filtered_df, assortiment_df, on='store_provider_id', how='inner')
# 按商品分组，合并视频ID为列表
grouped_df = final_df.groupby(['NAME', 'EAN', 'store_provider_id', 'store', 'INPUT_SUBCATEGORIES']).agg({
    'video': lambda x: ','.join(x.unique()),
    'first_name': 'first',
    'last_name': 'first',
    'email': 'first',
    'date': 'first',
    'app_version_code': 'first',
    'id': lambda x: ','.join(x.unique())
}).reset_index()
grouped_df['VALUE'] = '1'
grouped_df['AVAILABLE_FOR_DN'] = ''
# 调整输出列
grouped_df = grouped_df[['NAME', 'EAN', 'VALUE', 'first_name', 'last_name', 'email', 'store', 
                         'store_provider_id', 'date', 'app_version_code', 'id', 'video', 'AVAILABLE_FOR_DN']]

场景2：商品与视频存在一对一/一对多的直接关联（业务上每个视频对应特定商品） #

如果真实需求是“每个视频对应其拍摄的商品”，那现有数据缺少视频ID与商品ID的关联字段（比如视频表中没有EAN列），此时merge无法完成匹配，需要：

1. 补充数据：在视频相关的CSV中添加对应商品的EAN字段
2. 调整merge逻辑：按store_provider_id+EAN（或视频与商品的关联字段）进行匹配，而不是仅按门店ID。

结论 #

Pandas的merge完全适合你的需求，但当前逻辑没有考虑商品与视频的关联规则，仅按门店ID匹配导致了笛卡尔积。先明确业务上“商品对应应出现的视频”的具体规则（是同门店同分类的所有视频，还是视频绑定特定商品），再调整merge的关联键即可解决问题。

内容的提问来源于stack exchange，提问作者HMWorks