Dask添加随机UUID列时UUID变更的异常问题排查

问题本质是Dask的惰性计算特性：你用apply生成UUID的操作只是记录了计算逻辑，并没有立即执行。每次调用compute()时，Dask都会重新执行整个计算链，包括调用generate_uuid生成新的UUID，所以concat后再compute会得到新值。

下面是三种可行的解决方法：

方法1：提前在Pandas中生成UUID再转Dask #

如果数据量不大能加载到内存，直接在Pandas层面生成UUID，再转为Dask DataFrame。这样UUID是固定的静态值，后续任何Dask操作都不会改变它：

import pandas as pd
import dask.dataframe as dd
from uuid import uuid4

# 先在Pandas中生成UUID列
my_pandas_data["uuid"] = [str(uuid4()) for _ in range(len(my_pandas_data))]
# 转为Dask DataFrame
my_dask_data = dd.from_pandas(my_pandas_data, npartitions=4)

# 执行concat后compute，UUID保持不变
other_dask_data = dd.from_pandas(other_pandas_data, npartitions=2)
combined_df = dd.concat([my_dask_data, other_dask_data])
print(combined_df.compute())

方法2：用map_partitions批量生成UUID #

如果数据量太大无法全加载到内存，用map_partitions在每个分区的Pandas子DataFrame中批量生成UUID。每个分区的UUID只生成一次，后续compute不会重复执行生成逻辑：

import dask.dataframe as dd
from uuid import uuid4

def add_uuid_to_partition(df):
    # 给当前分区的每一行生成UUID
    df["uuid"] = [str(uuid4()) for _ in range(len(df))]
    return df

my_dask_data = dd.from_pandas(my_pandas_data, npartitions=4)
# 给每个分区添加UUID列，指定meta保证类型正确
my_dask_data = my_dask_data.map_partitions(
    add_uuid_to_partition,
    meta=my_dask_data._meta.assign(uuid=str)
)

# concat后compute，UUID不会重新生成
combined_df = dd.concat([my_dask_data, other_dask_data])
print(combined_df.compute())

方法3：持久化生成UUID后的Dask DataFrame #

如果必须在Dask层面用apply生成UUID，可以在生成后调用persist()，把数据加载到内存或分布式存储中。后续操作会直接使用已生成的UUID，而非重新计算：

import dask.dataframe as dd
from uuid import uuid4

def generate_uuid() -> str:
    return str(uuid4())

my_dask_data = dd.from_pandas(my_pandas_data, npartitions=4)
my_dask_data["uuid"] = my_dask_data.apply(
    generate_uuid,
    axis=1,
    meta=("uuid", "str")
)
# 持久化数据，固定UUID值
my_dask_data = my_dask_data.persist()

# concat后compute，UUID保持不变
combined_df = dd.concat([my_dask_data, other_dask_data])
print(combined_df.compute())

内容的提问来源于stack exchange，提问作者user18140022