TiDB提交事务出现"transaction too large"错误的原因、限制及配置方法

1. 为何会出现"transaction too large"错误？ #

TiDB作为分布式关系型数据库，事务执行需要在多个TiKV节点间协调同步，大事务会给集群带来极大的性能和稳定性压力，因此TiDB设置了事务大小限制，触发该错误的核心原因主要有这些：

• 超出配置的事务总大小阈值：TiDB默认限制单个事务的总数据修改量（插入、更新、删除的数据大小总和），一旦超过这个阈值就会抛出错误。
• 单条KV条目过大：如果事务中某一行数据（比如包含超大TEXT/BLOB字段）超过单个KV条目的大小限制，也会触发类似错误。
• 事务涉及行数过多：即使单条数据体积不大，累计行数过多也会让总数据量突破限制；同时大量行修改会生成过多锁和事务日志，间接触发大小校验。
• 事务生成的中间数据过多：比如复杂查询在事务中产生大量临时计算数据，也会被计入事务总大小。

2. 事务大小限制是多少？能否修改？ #

TiDB的事务大小限制主要由以下两个核心参数控制：

• txn-total-size-limit：单个事务的总数据修改量上限，默认值为100MB。你提到的10万行数据触发错误，大概率是这些行的总数据大小超过了这个默认值。
• txn-entry-size-limit：单个KV条目的大小上限，默认值为6MB，如果某一行数据体积超过这个值，也会触发错误。

这些参数确实可以修改，但我必须提醒你：不建议盲目调大限制，因为大事务会带来诸多负面影响：

• 占用更多TiDB和TiKV节点的内存，增加OOM（内存溢出）风险；
• 延长锁持有时间，加剧锁冲突，导致其他事务等待时间变长，降低集群并发能力；
• 分布式事务的协调成本陡增，一旦事务失败，回滚的耗时和资源消耗会呈指数级增长；
• 增大事务日志同步压力，可能影响集群整体稳定性。

如果遇到这类问题，更推荐的解决方案是拆分大事务，比如把10万行的插入拆分成多个小事务，每次插入1000-5000行，既能避免触发大小限制，又能提升集群的性能和稳定性。

内容的提问来源于stack exchange，提问作者Lilian Lee