为Dask DataFrame添加随机数列的正确方法是什么？

你担心的点非常关键——如果直接用普通的random或numpy.random模块在map_partitions里生成随机数，确实可能因为不同worker初始化的随机状态相同，导致多个分区生成完全一样的随机序列。不过Dask的dask.array.random模块已经专门解决了这个问题，它会自动为每个任务/分区分配独立的随机种子，确保并行计算时每个worker生成的随机数都是唯一且不重复的。

接下来给你举个实际的例子，展示如何把dask.array.random和Dask DataFrame结合起来，用map_partitions添加随机数列：

import dask.dataframe as dd
import dask.array as da
import pandas as pd

# 先创建一个示例Dask DataFrame
df = dd.from_pandas(pd.DataFrame({'id': range(1000)}), npartitions=4)

# 定义一个分区级的函数，添加随机数列
def add_random_col(partition):
    # 用dask.array.random生成和分区行数一致的随机数
    # 这里以正态分布为例，size=len(partition)保证和分区行数匹配
    random_vals = da.random.normal(loc=0, scale=1, size=len(partition)).compute()
    partition['random_num'] = random_vals
    return partition

# 应用map_partitions添加列
df_with_random = df.map_partitions(add_random_col)

# 查看结果（触发计算）
print(df_with_random.head())

为什么这个方法能避免重复的随机状态？因为dask.array.random里的函数会基于Dask的任务图自动生成独立的种子，每个分区对应的任务都会拿到独特的种子，所以不管哪个worker执行这个任务，生成的随机序列都是唯一的。

另外要注意：不要在分区函数里直接用numpy.random或标准库random，除非你手动为每个分区设置不同的种子（比如用分区的元数据来生成种子），否则很容易出现多个分区随机数重复的问题。而dask.array.random已经帮你封装好了这部分逻辑，用起来更省心。

如果需要固定全局的随机种子，确保每次运行生成的随机数一致，你可以用da.random.seed()来设置全局种子，比如：

da.random.seed(42)
# 之后生成的随机数都会基于这个种子，且每个分区的序列依然是独立的

这样既保证了全局的可复现性，又不会出现分区间随机数重复的问题。

内容的提问来源于stack exchange，提问作者Martin Wiebusch