Pandas循环多进程优化咨询：GIS数据导出效率提升问题

原代码的核心问题 #

• 错误使用pd.read_csv处理列表数据：bwes是键值对结构，应该用pd.DataFrame构造数据框，而非pd.read_csv。
• 多进程调用逻辑错误：
  • 先创建Pool但未实际提交并行任务，反而用单线程循环调用task(row)，完全没用到多进程能力。
  • bwedf.iterrows()返回(索引, 行数据)的元组，直接传给task会导致函数参数不匹配，进程无法正常执行。
• 多进程直接写入Geopackage会引发文件写入冲突，多个进程同时操作同一个文件会导致数据损坏或无执行进展。

你的问题解答 #

1. 拆分DataFrame为小数据集分配进程是否更合适？ #

是的，这是更高效的方案。直接按行提交任务会产生大量进程间序列化/反序列化开销，拆分DataFrame为若干块（比如4/8块，对应CPU核心数），让每个进程处理一个完整的块，能大幅降低通信开销，提升并行效率。

2. 是否应将循环逻辑放入函数，传入整个DataFrame？ #

建议传入拆分后的子DataFrame块而非整个DataFrame。将循环逻辑封装到处理函数中，让每个进程独立处理一个子块，生成对应的GeoDataFrame，最后统一收集所有子结果合并后写入Geopackage，既避免了多进程写文件冲突，又提升了处理效率。

修正后的代码示例 #

import pandas as pd
import geopandas as gpd
import bwe_mapping
from multiprocessing import Pool
import numpy as np

# 修正DataFrame构造方式
bwes = {
    'id': [7216],
    'item_id': [3277841],
    'Date': ['2019-01-04T00:00:00.000Z'],
    'start_lat': [-56.92],
    'start_lon': [45.87],
    'End_lat': [-59.87],
    'End_lon': [44.67]
}
bwedf = pd.DataFrame(bwes)

geopackage = r"datalocation\geopackage.gpkg"
tracklayer = "tracks"

def process_chunk(chunk_df):
    # 每个进程处理一个DataFrame块，生成GeoDataFrame列表
    gdf_list = []
    for _, row in chunk_df.iterrows():
        gdf = bwe_mapping.map_bwe(row, geopackage, tracklayer)  # 假设该函数返回GeoDataFrame
        if not gdf.empty:
            gdf_list.append(gdf)
    # 合并当前块的结果
    return pd.concat(gdf_list, ignore_index=True) if gdf_list else gpd.GeoDataFrame()

if __name__ == '__main__':
    # 拆分DataFrame为8块（可根据CPU核心数调整）
    num_chunks = 8
    chunks = np.array_split(bwedf, num_chunks)
    
    # 启动多进程池
    with Pool(processes=num_chunks) as pool:
        # 并行处理所有块
        results = pool.map(process_chunk, chunks)
    
    # 合并所有进程的结果
    final_gdf = pd.concat(results, ignore_index=True)
    
    # 统一写入Geopackage（避免多进程写冲突）
    if not final_gdf.empty:
        final_gdf.to_file(geopackage, layer=tracklayer, driver="GPKG")

内容的提问来源于stack exchange，提问作者MrKingsley