Python使用pyodbc向PostgreSQL插入数据时如何避免post_id重复插入
插入重复数据的根因与优化方案
现有逻辑的核心错误
- 类型不匹配导致去重判断完全失效:游标
fetchall()返回的结果是元组格式,例如('7229511362',),而你用于判断的id是纯字符串类型。Python中'7229511362' in [('7229511362',)]的运算结果永远为False,所以程序永远判定“数据不存在”,每次循环都会执行插入,这是重复写入的根本原因。 - 全表扫描的低效问题:每处理一条数据就执行一次全量
post_id查询,数据量变大后查询效率会线性下降。 - 裸字符串拼接SQL的隐患:直接把参数拼接进SQL语句,不仅存在SQL注入风险,遇到参数内带单引号的场景还会直接触发语法错误。
- 错误捕获逻辑缺陷:原代码中写的裸
except: pass会吞掉所有运行时错误(包括SQL语法错误、连接异常),排查问题非常困难。
之前单条last_posted判断失效的原因
你的表内已经存在大量重复的post_id记录,按tstmp降序取的最后一条记录,和当前要插入的id不匹配,自然无法起到全局去重的作用。
长期最优实现方案
从数据库层面做兜底去重,比在应用层写判断逻辑可靠得多,还能避免并发写入的重复问题:
- 先清理表内已有的重复数据,否则后续加唯一约束会报错:
DELETE FROM listings a USING listings b WHERE a.post_id = b.post_id AND a.ctid < b.ctid; - 给
post_id字段加唯一约束,从数据库层面杜绝同id重复写入:ALTER TABLE listings ADD CONSTRAINT unique_post_id UNIQUE (post_id); - 替换原有插入逻辑,使用PostgreSQL原生的
ON CONFLICT语法做幂等插入,不需要提前查询全量已存在的id,数据库会自动判断冲突并跳过:def initialParse(results): rList = [list(r.values()) for r in results] # 单次建立数据库连接,循环复用,避免频繁开关连接的开销 cnxn = connectDb() cursor = cnxn.cursor() try: for l in rList: r_id = str(l[0]) r_name = str(l[2]) r_url = str(l[3]) r_datetime = str(l[4]) r_price = str(l[6]) r_where = str(l[7]) Logger.writeAndPrintLine(f'Processing post {r_id}...', 0) # 使用参数化查询,避免拼接SQL的风险 cursor.execute( "INSERT INTO listings (post_id, timestamp, url, subject, price, location, tstmp) " "VALUES (%s, %s, %s, %s, %s, %s, CURRENT_TIMESTAMP) " "ON CONFLICT (post_id) DO NOTHING;" , (r_id, r_datetime, r_url, r_name, r_price, r_where)) # 统一提交所有操作 cnxn.commit() finally: cursor.close() disconnectDb(cnxn)
临时修正方案(暂不修改表结构时可用)
如果暂时不方便调整表结构,可以先把原有判断逻辑的类型问题修正:把元组格式的查询结果提前拍平成纯字符串集合,再做判断:
cursor.execute('select post_id from listings') # 把元组列表拍平成纯id的集合,避免类型不匹配 existing_ids = {row[0] for row in cursor.fetchall()} if id not in existing_ids: # 执行插入逻辑
注意:这个方案只是临时修正,效率会随着数据量增长持续降低,且无法避免并发写入的重复问题,长期还是推荐使用数据库约束+幂等插入的方案。
内容的提问来源于stack exchange,提问作者boog
相关产品推荐
相关产品推荐

