为何使用manager.list()创建的嵌套列表追加元素未生效？

问题描述 #

使用Python的multiprocessing.Manager模块创建共享嵌套列表后，向第二个子列表追加元素，预期输出[[], ['New Element'], []]，但实际输出为[[], [], []]，追加操作未生效。

问题代码 #

from multiprocessing import Manager

if __name__ == '__main__':
    # 创建Manager对象
    manager = Manager()

    # 创建共享嵌套列表
    shared_list = manager.list([[], [], []])

    # 向第二个子列表追加元素
    element = "New Element"
    shared_list[1].append(element)

    # 打印更新后的共享列表
    print(shared_list)

原因分析 #

manager.list()仅对顶层列表提供共享同步机制，嵌套在其中的子列表是普通的Python列表，没有被包装成Manager的共享对象。当你通过shared_list[1]获取子列表时，得到的是该普通列表的本地引用，对其执行append()操作只是修改了本地副本，并不会触发Manager的共享数据同步逻辑，因此修改不会被保存到共享列表中。

解决方案 #

方案1：嵌套使用Manager共享列表 #

将每个子列表也用manager.list()创建，让所有层级的列表都具备共享同步能力：

from multiprocessing import Manager

if __name__ == '__main__':
    manager = Manager()

    # 每个子列表都通过manager.list()创建
    shared_list = manager.list([manager.list(), manager.list(), manager.list()])

    element = "New Element"
    shared_list[1].append(element)

    print(shared_list)

输出结果：[[], ['New Element'], []]

方案2：修改后重新赋值触发同步 #

先获取子列表修改，再将修改后的子列表重新赋值给顶层共享列表的对应位置，以此触发Manager的同步更新：

from multiprocessing import Manager

if __name__ == '__main__':
    manager = Manager()

    shared_list = manager.list([[], [], []])

    element = "New Element"
    # 获取子列表并修改
    sub_list = shared_list[1]
    sub_list.append(element)
    # 重新赋值，触发共享数据更新
    shared_list[1] = sub_list

    print(shared_list)

输出结果：[[], ['New Element'], []]

内容的提问来源于stack exchange，提问作者user18735750