SQL中能否基于不完全相同的字段值合并相似数据行？

合并重复品牌方案 #

你的表结构参考如下：

完全可以通过SQL一次性完成合并操作，也可以用Pandas更灵活的处理，操作前建议先备份全表数据避免误操作导致数据丢失，具体实现如下：

SQL 实现方案

针对大小写不一致导致的重复品牌问题，可通过统一转换大小写后分组聚合的方式处理，步骤如下：

1. 先查询确认所有重复的品牌，避免误合并：

SELECT 
  LOWER(brand_name) AS 统一品牌名,
  COUNT(*) AS 重复条数,
  SUM(active_count) AS 合并后总活跃数
FROM your_brand_table
GROUP BY LOWER(brand_name)
HAVING COUNT(*) > 1;

2. 合并重复数据，逻辑为保留ID最小的品牌条目作为主条目，累加所有重复条目的活跃计数后删除多余条目：

-- 更新主条目的活跃计数
UPDATE your_brand_table t1
JOIN (
  SELECT 
    LOWER(brand_name) AS unified_name,
    MIN(id) AS keep_id,
    SUM(active_count) AS total_count
  FROM your_brand_table
  GROUP BY LOWER(brand_name)
) t2 ON LOWER(t1.brand_name) = t2.unified_name
SET t1.active_count = t2.total_count
WHERE t1.id = t2.keep_id;

-- 删除多余的重复条目
DELETE t_del
FROM your_brand_table t_del
JOIN (
  SELECT 
    LOWER(brand_name) AS unified_name,
    MIN(id) AS keep_id
  FROM your_brand_table
  GROUP BY LOWER(brand_name)
) t_keep ON LOWER(t_del.brand_name) = t_keep.unified_name
WHERE t_del.id != t_keep.keep_id;

如果存在除大小写之外的拼写差异（比如多打字符、拼写近似错误），可搭配SOUNDEX()、Levenshtein距离函数做模糊匹配，这类场景建议先手动确认匹配关系再合并，避免误合无关品牌。

Pandas 实现方案

Pandas处理这类数据清洗场景更灵活，尤其适合需要人工审核相似品牌的场景：

import pandas as pd
import sqlalchemy

# 连接数据库读取原始数据
engine = sqlalchemy.create_engine('你的数据库连接字符串')
df = pd.read_sql('SELECT * FROM your_brand_table', engine)

# 生成统一匹配键：统一转小写，可按需加去除空格、特殊字符的逻辑
df['unified_key'] = df['brand_name'].str.lower()

# 分组聚合合并数据，默认保留最小ID对应的品牌名作为标准名
df_merge = df.groupby('unified_key').agg(
  id = ('id', 'min'),
  brand_name = ('brand_name', 'first'),
  active_count = ('active_count', 'sum')
).reset_index(drop=True)

# 合并后的数据覆盖写入原表
df_merge.to_sql('your_brand_table', engine, if_exists='replace', index=False)

如果需要处理拼写近似的品牌，可搭配fuzzywuzzy库计算字符串相似度，筛选出相似度高于阈值的品牌人工确认后再合并。

后续预防建议

• 写入数据前先统一格式化品牌名：比如统一转首字母大写、去除前后空格和特殊字符后再做存在性判断
• 可给品牌名字段加唯一约束，从数据库层面避免后续再生成重复数据

内容的提问来源于stack exchange，提问作者bubbolee