Python编写的AWS Lambda调用Postgres函数未保存更改问题
核心问题定位
这个问题和缓存机制、PL/pgSQL函数的自封装逻辑都没有关系,根本原因是数据库事务未提交,导致函数触发的所有写操作被静默回滚。
问题原理拆解
- 首先明确Postgres的事务边界规则:你现在使用的是普通PL/pgSQL函数,这类函数没有独立的事务控制能力——你之前尝试在函数内添加COMMIT命令失败是符合设计逻辑的,普通函数内根本不允许执行事务控制语句,函数内所有的SQL变更,完全依赖外层调用它的数据库连接的事务,决定最终是提交持久化,还是回滚撤销。
- 你写的PL/pgSQL函数本身执行逻辑没有问题:每次调用时,当前数据库连接会自动开启一个事务,函数会按照逻辑拿到表锁,将表中的sequence_value加1,通过RETURNING子句把更新后的值返回给Python端。
- 问题出在Python端的连接使用流程:SQLAlchemy的数据库连接默认是手动提交模式,你执行完查询拿到返回值之后,没有显式提交当前事务,就直接关闭了cursor和连接。当连接被关闭时,SQLAlchemy会自动把这个未提交的事务全部回滚,将刚才在事务内执行的UPDATE、持有的表锁全部撤销,根本不会把变更写入物理表。
- 这个流程完全匹配你观察到的所有现象:
- 第一次调用时,表内实际存储的sequence_value基准值是4558,函数在当前事务内把值修改为4559,将4559返回给Python端,随后连接关闭,事务回滚,表内值恢复为4558
- 第二次调用时,新建立的连接还是以表内的4558为基准值,在自己的事务内将值修改为4559再返回,随后又触发回滚
- 整个过程没有任何报错,因为回滚是静默执行的,不会触发异常;你看到的返回值一直固定,是因为每次的修改都没有真正持久化,基准值从未发生变化。
- 额外说明:RDS Proxy不会帮你解决这个问题,它的只读查询缓存只会缓存纯SELECT的查询结果,不会干预带写操作的语句执行,也不会替应用层提交未完成的事务,只会在连接回收时按照Postgres协议回滚所有未提交的变更。
修复方案
最直接的修改方式是在Python端拿到查询结果之后、关闭连接之前,显式提交当前连接的事务。修改后的代码参考:
@staticmethod def get_next_msg_id(): query = "select <schema>.<function>();" db_conn = _db_engine.connect() cursor = None try: cursor = db_conn.execute(text(query)) message_id = cursor.fetchone()[0] # 显式提交事务,将函数触发的UPDATE操作持久化到表中 db_conn.commit() logger.debug(f"Next message id: {message_id}") return message_id finally: if cursor: cursor.close() db_conn.close()
很多开发者会误以为SELECT语句都是只读的,不需要提交操作。但你这个SELECT调用的函数内部包含写逻辑,本质上是写请求,必须提交事务才能让变更真正生效。
更可靠的替代实现
你当前手写表+行锁+UPDATE维护自增值的方案,本身存在并发性能差、序列值容易因为事务异常丢失的问题。Postgres自带的SEQUENCE序列机制是专门为自增ID场景设计的:nextval操作本身就是原子持久化的,不需要额外加表锁,就算整个调用事务回滚,序列值也不会回退,可靠性远高于自定义表维护的方案。实现步骤非常简单:
- 基于当前表内的实际值创建序列:
CREATE SEQUENCE IF NOT EXISTS <schema>.msg_id_seq START WITH 4559; - 后续获取下一个ID时,直接执行
select nextval('<schema>.msg_id_seq')即可,不需要额外编写PL/pgSQL函数、处理表锁逻辑,也不会出现事务未提交导致值不更新的问题。
内容的提问来源于stack exchange,提问作者GarlicBread
相关产品推荐
相关产品推荐

