向Python multiprocessing Pool传递多参数时出现TypeError: list indices must be integers or slices, not str错误的问题求助

你的错误根源在于**multiprocessing.Pool.map的参数传递逻辑理解有误**，导致函数接收到的参数格式不符合预期，进而触发了类型错误。

为什么会报错？ #

Pool.map(func, iterable)的工作逻辑是：把iterable中的每个元素作为单个参数传给func。你当前的代码里写了：

pool.map(augment,[[payloads,basepath,count_dict]])

这里的iterable是一个只有一个元素的列表，这个元素是[payloads, basepath, count_dict]。所以augment函数接收到的args就是这个列表，args[0]是payloads（也就是你拆分好的字典列表）。当你循环for img in imgs:时，img是一个字典（比如{"id":0,"input_paths":[...图片路径...]}），如果后续代码里试图用字符串索引访问这个字典（比如img["input_paths"]），但你误把它当成了列表，就会触发TypeError: list indices must be integers or slices, not str。

另外，你的核心需求是给每个进程分配一个图片路径chunk，同时传递basepath和count_dict这两个公共参数，显然当前的参数打包方式完全不符合这个需求。

修正方案 #

下面提供两种符合multiprocessing规范的写法：

方案1：用Pool.starmap直接传递多参数

starmap支持将可迭代对象中的每个元组拆分为多个参数传给函数，代码更直观：

# 修改augment函数，直接接受三个参数
def augment(imgpaths, bpath, dictcount):
    for img in imgpaths:
        image = cv2.imread(img)
        # 这里写你的图像处理逻辑

def main():
    basepath = 'some path'
    count_dict = {some dict}
    allImagepaths = sorted(list(paths.list_images(basepath)))
    procs = no_cores if no_cores > 0 else cpu_count()
    noImgsproc = int(np.ceil(len(allImagepaths) / float(procs)))
    chunkpaths = list(chunk(allImagepaths, noImgsproc))
    
    # 给每个chunk打包对应的参数元组
    payloads = [(chunk, basepath, count_dict) for chunk in chunkpaths]
    
    pool = Pool(processes=procs)
    pool.starmap(augment, payloads)

方案2：保持Pool.map，打包参数为单个对象

如果你想继续用map，可以把每个进程需要的三个参数打包成一个列表/元组，再组成可迭代对象：

# 修改augment函数，用解包方式获取参数（比索引更易读）
def augment(args):
    imgpaths, bpath, dictcount = args
    for img in imgpaths:
        image = cv2.imread(img)
        # 这里写你的图像处理逻辑

def main():
    basepath = 'some path'
    count_dict = {some dict}
    allImagepaths = sorted(list(paths.list_images(basepath)))
    procs = no_cores if no_cores > 0 else cpu_count()
    noImgsproc = int(np.ceil(len(allImagepaths) / float(procs)))
    chunkpaths = list(chunk(allImagepaths, noImgsproc))
    
    # 给每个chunk打包参数
    payloads = [[chunk, basepath, count_dict] for chunk in chunkpaths]
    
    pool = Pool(processes=procs)
    pool.map(augment, payloads)

额外建议 #

• 尽量用参数解包（imgpaths, bpath, dictcount = args）代替索引取值，代码可读性更强，也不容易出错。
• 如果count_dict是一个大字典，考虑用multiprocessing.Manager共享这个对象，避免每个进程都复制一份，节省内存。

内容的提问来源于stack exchange，提问作者xionxavier