Dask分布式中如何让Worker使用只读的分散Pandas DataFrame？

先直接给结论：你用client.scatter广播DataFrame，再用Variable存储Future的做法是完全可行的，但如果要彻底禁止Worker修改数据，还需要结合Pandas的特性来处理，这部分确实属于纯Pandas的问题。

关于Dask端的分散与访问 #

当你执行df = client.scatter(df, broadcast=True, direct=True)时，Dask会把DataFrame的独立副本发送给每个Worker节点。这意味着：

• Worker可以直接本地访问这份DataFrame，不用跨节点拉取数据，效率很高；
• 就算某个Worker的代码不小心修改了本地的这份DataFrame，也只会影响它自己的副本，不会波及客户端的原始数据或者其他Worker的拷贝——因为它们都是相互独立的。

而用Variable存储这个Future的操作非常实用，后续提交任务时可以直接引用这个Variable，不用重复执行scatter广播，能节省大量的网络传输开销。

如何强制实现只读（Pandas部分） #

如果想要从根源上阻止Worker修改数据（避免误操作），就需要用到Pandas本身的只读设置。你可以在scatter之前，把DataFrame标记为不可写：

# 在scatter前锁定DataFrame为只读
df = df.set_flags(writeable=False)
# 再广播到Worker节点
df = client.scatter(df, broadcast=True, direct=True)
# 存入Variable方便后续使用
v = Variable('df_ref', df)

这样一来，只要Worker端的代码尝试修改这份DataFrame（比如df['col'] = 1），Pandas会直接抛出ValueError，彻底杜绝修改操作。

额外注意点 #

如果你的DataFrame里嵌套了可变对象（比如列表、字典这类Python原生容器），即使把DataFrame设为只读，这些嵌套对象还是可以被修改的。如果要处理这种情况，你需要把这些嵌套对象也转为不可变类型（比如把列表改成tuple），或者用深拷贝结合冻结操作——这是Python可变对象的通用特性，和Dask无关。

内容的提问来源于stack exchange，提问作者Niklas B