如何在Dask DataFrame中同时将多字符串列按分隔符拆分为多行？

问题根源 #

Dask的Series.str.split(expand=False)不会像Pandas那样返回真正的列表类型，而是返回字符串形式的列表表示（比如"['missense_variant', 'splice_region_variant']"），后续调用explode()时无法识别为可展开序列，因此没有效果。

解决方案 #

以下两种方法可将字符串形式的列表转换为Dask可识别的列表类型，实现正常explode：

方法1：用map_partitions复用Pandas拆分逻辑 #

利用Dask的map_partitions让每个分区内执行Pandas原生的split操作，直接生成真正的列表：

import dask.dataframe as dd
import pandas as pd

# 模拟VEP格式测试数据
data = {
    'CHROM': ['1', '2'],
    'POS': ['100', '200'],
    'Consequence': ['missense_variant,splice_region_variant', 'synonymous_variant'],
    'Ensembl_geneid': ['ENSG000001,ENSG000002', '.']
}
ddf = dd.from_pandas(pd.DataFrame(data), npartitions=1)

# 定义单分区处理函数
def split_target_cols(df):
    split_cols = ['Consequence', 'Ensembl_geneid']
    for col in split_cols:
        # 拆分字符串为列表，同时将点号缺失值转为空列表
        df[col] = df[col].str.split(',').apply(lambda x: [] if x == ['.'] else x)
    return df

# 应用分区处理，指定meta保证类型正确
ddf_split = ddf.map_partitions(split_target_cols, meta=ddf.dtypes.to_dict())

# 执行多列同步explode，再将空值换回点号
ddf_exploded = ddf_split.explode(['Consequence', 'Ensembl_geneid']).fillna('.')

# 查看结果
print(ddf_exploded.compute())

方法2：自定义转换函数+指定meta类型 #

直接通过apply将逗号分隔字符串转为列表，关键是要指定meta参数让Dask识别列表类型：

import dask.dataframe as dd
import pandas as pd

# 模拟测试数据
data = {
    'CHROM': ['1', '2'],
    'POS': ['100', '200'],
    'Consequence': ['missense_variant,splice_region_variant', 'synonymous_variant'],
    'Ensembl_geneid': ['ENSG000001,ENSG000002', '.']
}
ddf = dd.from_pandas(pd.DataFrame(data), npartitions=1)

# 定义字符串转列表函数，处理点号缺失值
def str_to_list(s):
    return [] if s == '.' else s.split(',')

# 对目标列应用转换，必须指定meta为object类型
split_cols = ['Consequence', 'Ensembl_geneid']
for col in split_cols:
    ddf[col] = ddf[col].apply(str_to_list, meta=object)

# 执行explode并恢复缺失值格式
ddf_exploded = ddf.explode(split_cols).fillna('.')
print(ddf_exploded.compute())

核心注意点 #

• 必须指定meta：Dask无法自动推断自定义转换后的类型，指定meta能避免类型混乱导致的错误。
• 缺失值同步处理：原数据中的点号需转为空列表，保证explode后各列元素位置对应，最后再将NaN换回点号维持格式一致。
• 多列元素数量匹配：确保所有待拆分列的元素数量完全对应，避免explode后出现数据错位。

内容的提问来源于stack exchange，提问作者Ankit