Python如何合并行并同时求和？足球爬虫数据去重问题

核心解决方案（基于Pandas） #

假设你的爬取结果已存入Pandas DataFrame（命名为df），包含player（球员名）、goals（进球）、assists（助攻）等字段，按以下步骤处理：

1. 填充空值
   先把goals和assists列的NaN替换为0，避免求和时出错：

   df[['goals', 'assists']] = df[['goals', 'assists']].fillna(0)
   

2. 分组聚合合并数据
   按球员名分组，对进球、助攻列求和；若有其他字段（如球队、位置），可根据需求选择保留第一个有效值或其他聚合方式：

   # 仅合并进球和助攻的基础写法
   merged_df = df.groupby('player', as_index=False).agg({'goals': 'sum', 'assists': 'sum'})
   
   # 含其他字段（如'team'）的扩展写法
   merged_df = df.groupby('player', as_index=False).agg(
       {'goals': 'sum', 'assists': 'sum', 'team': 'first'}
   )
   

效果示例 #

原重复数据：

Harry Kane, 22, NaN
Harry Kane, NaN, 8

处理后合并为单行：

Harry Kane, 22, 8

内容的提问来源于stack exchange，提问作者Bruno Queiroz