如何通过Python或GDAL批量导入TIFF栅格至GPKG以提升写入性能？

核心问题梳理 #

• GDAL默认每个栅格文件单独建立SQLite连接，无法通过单事务批量插入，写入性能受限
• 并发调用gdal_translate会触发数据库锁，且出现栅格表初始化错误（SetGeoTransform()缺失）
• GDAL的GPKG驱动暂不支持SQLite WAL模式，无法实现多连接并行写入

可行解决方案 #

方案1：Python + GDAL绑定实现单连接批量插入 #

通过GDAL Python API复用单个GPKG数据源连接，在单事务内完成所有栅格插入，避免重复建立连接的开销，同时保证操作原子性。

示例代码：

from osgeo import gdal

# 打开或创建GPKG数据源（复用同一个连接）
gpkg_ds = gdal.OpenEx("dst.gpkg", gdal.OF_UPDATE | gdal.OF_RASTER)
if not gpkg_ds:
    # 不存在则创建GPKG容器
    gpkg_ds = gdal.GetDriverByName("GPKG").Create("dst.gpkg", 0, 0, 0, gdal.GDT_Unknown)

# 待处理的TIFF文件列表
tiff_files = ["src_1.tiff", "src_2.tiff", "src_3.tiff", "src_4.tiff", "src_5.tiff"]

# 开启事务（关键：所有插入操作在同一事务内执行）
gpkg_ds.StartTransaction()
try:
    for tiff_path in tiff_files:
        raster_table = tiff_path.split(".")[0]
        # 打开TIFF数据源
        tiff_ds = gdal.Open(tiff_path)
        if not tiff_ds:
            print(f"跳过无效文件：{tiff_path}")
            continue
        
        # 设置写入参数
        create_options = [
            "APPEND_SUBDATASET=YES",
            f"RASTER_TABLE={raster_table}"
        ]
        
        # 将TIFF写入GPKG，复用现有连接
        gdal.Translate(
            destNameOrDestDS=gpkg_ds,
            srcDS=tiff_ds,
            format="GPKG",
            options=create_options
        )
        tiff_ds = None  # 释放TIFF资源
    
    # 提交事务
    gpkg_ds.CommitTransaction()
    print("所有栅格插入完成")
except Exception as e:
    # 出错时回滚事务
    gpkg_ds.RollbackTransaction()
    print(f"插入失败，已回滚：{str(e)}")
finally:
    gpkg_ds = None  # 释放GPKG资源

方案2：优化gdal_translate串行执行效率 #

若必须使用命令行，可通过串行批量执行避免锁冲突，同时添加BLOCK_SIZE等参数提升写入速度：

# 初始化GPKG（若不存在则自动创建）
gdal_translate src_1.tiff dst.gpkg -of GPKG -co APPEND_SUBDATASET=YES -co RASTER_TABLE=src_1 -co BLOCK_SIZE=512

# 串行插入剩余栅格
for file in src_2.tiff src_3.tiff src_4.tiff src_5.tiff; do
    raster_table=$(basename "$file" .tiff)
    gdal_translate "$file" dst.gpkg -of GPKG -co APPEND_SUBDATASET=YES -co RASTER_TABLE="$raster_table" -co BLOCK_SIZE=512
done

关键注意事项 #

• 事务优化：单事务批量插入能大幅减少SQLite磁盘IO次数，性能比单文件单事务提升数倍
• 驱动限制：目前GDAL的GPKG驱动不支持WAL模式，强行并发会触发数据库锁和表初始化错误，需避免并行写入
• 元数据一致性：确保所有插入的TIFF具有相同的坐标系、像素尺寸等元数据，避免表初始化异常

内容的提问来源于stack exchange，提问作者Kiruahxh