DataFrame去重合并问题：基于comment_id合并新数据与历史数据报错

错误原因分析 #

你写的代码触发TypeError: unhashable type: 'Series'，核心问题有两点：

• 逻辑错误：你试图判断整个Series（filtered_comments['comment_id']）是否存在于历史数据的comment_id Series中，而非判断新增数据里每一行的comment_id是否在历史集合里。
• 类型错误：in运算符不能直接以Series作为判断元素，Series属于不可哈希的对象，因此触发类型报错。

正确实现方式 #

用pandas的向量化操作处理，步骤清晰且效率更高：

1. 筛选新增数据中comment_id未出现在历史数据里的行

# ~ 符号表示取反，筛选出不在历史comment_id范围内的行
new_unique_rows = filtered_comments[~filtered_comments['comment_id'].isin(historic_comments['comment_id'])]

2. 将筛选后的行追加到历史数据中

# concat合并两个结构一致的DataFrame，ignore_index重置索引避免重复
historic_comments = pd.concat([historic_comments, new_unique_rows], ignore_index=True)

大数据量优化方案 #

如果数据规模较大，可以把历史数据的comment_id转成集合，提升存在性判断的速度：

historic_ids = set(historic_comments['comment_id'])
new_unique_rows = filtered_comments[filtered_comments['comment_id'].apply(lambda x: x not in historic_ids)]
historic_comments = pd.concat([historic_comments, new_unique_rows], ignore_index=True)

内容的提问来源于stack exchange，提问作者Palalfredo