GeoDjango LayerMapping导入Shapefile时事务报错求助

我之前也踩过这个坑，用LayerMapping处理100MB级别的多边形Shapefile时，默认的单事务导入很容易触发你遇到的这类事务异常。下面给你几个实用的解决方案：

1. 分批次导入，拆分超大事务 #

LayerMapping的save()方法默认会把所有导入操作塞进一个原子事务里，数据量太大时不仅容易超时，一旦中间有一条数据出错，整个事务都会回滚，还会触发"原子块内不能执行查询"的限制错误。

我们可以手动拆分批次，每处理一定数量的要素就提交一次事务，代码示例如下：

from django.db import transaction
from django.contrib.gis.utils import LayerMapping

# 你的字段映射配置
mapping = {'name': 'OBJECTID', 'poly': 'POLYGON'}
lm = LayerMapping(TestGeo, 'toronto geo/PROPERTY_BOUNDARIES_WGS84.shp', mapping)

# 根据数据库性能调整批次大小，比如1000条/批
batch_size = 1000
current_count = 0

try:
    with transaction.atomic():
        for feature in lm.iterfeatures():
            lm.save_feature(feature)
            current_count += 1
            # 每达到批次大小就提交并开启新事务
            if current_count % batch_size == 0:
                transaction.commit()
                transaction.start()
                print(f"已成功保存 {current_count} 条要素")
        # 提交最后一批剩余的要素
        transaction.commit()
        print(f"导入完成！共保存 {current_count} 条要素")
except Exception as e:
    print(f"导入过程中出错: {str(e)}")
    transaction.rollback()

这个方法的核心是用iterfeatures()逐个读取Shapefile要素，分批次提交事务，避免单个超大事务的压力。

2. 检查Shapefile的有效性和字段映射 #

报错里的"Failure to save: {'nam..."大概率是某条数据的字段不匹配或者几何数据无效，你可以先排查Shapefile本身：

• 用GDAL的ogrinfo命令检查Shapefile结构：

  ogrinfo -al -so "toronto geo/PROPERTY_BOUNDARIES_WGS84.shp"
  

  确认OBJECTID字段存在，POLYGON是正确的几何字段名（注意大小写，部分Shapefile的字段名是全大写的）。
• 修复无效几何：如果存在自相交、空几何的多边形，会导致保存失败，用ogr2ogr工具修复：

  ogr2ogr -f "ESRI Shapefile" fixed_boundaries.shp "toronto geo/PROPERTY_BOUNDARIES_WGS84.shp" -makevalid
  

3. 调整数据库和Django配置 #

• 如果用PostgreSQL，可修改postgresql.conf延长事务超时：

  statement_timeout = 300000  # 设置为5分钟，按需调整
  

• 暂时关闭Django的DEBUG模式：DEBUG模式下，Django会在事务失败后自动执行查询生成错误页面，这会触发"原子块内不能执行查询"的错误。

4. 捕获异常，跳过错误数据 #

如果Shapefile里只有少量错误数据，你可以在代码里捕获异常，跳过错误要素继续导入：

from django.db import transaction, IntegrityError
from django.contrib.gis.geos import GEOSException

batch_size = 1000
current_batch = []
error_count = 0

for feature in lm.iterfeatures():
    current_batch.append(feature)
    if len(current_batch) >= batch_size:
        try:
            with transaction.atomic():
                for item in current_batch:
                    lm.save_feature(item)
            print(f"成功保存 {batch_size} 条要素")
        except (IntegrityError, GEOSException) as e:
            error_count += len(current_batch)
            print(f"该批次导入失败: {str(e)}，跳过该批次")
        current_batch = []

# 处理最后一批剩余要素
if current_batch:
    try:
        with transaction.atomic():
            for item in current_batch:
                lm.save_feature(item)
        print(f"成功保存剩余 {len(current_batch)} 条要素")
    except (IntegrityError, GEOSException) as e:
        error_count += len(current_batch)
        print(f"最后一批导入失败: {str(e)}")

print(f"导入结束！共跳过 {error_count} 条错误要素")

这样即使有部分数据出错，也不会中断整个导入流程，之后可以单独处理那些错误要素。

内容的提问来源于stack exchange，提问作者Valachio