是否有命令或插件支持使用Dask导入SPSS(.sav)数据框？

Dask 原生IO模块未内置SPSS .sav格式的直接读取接口，官方文档及生态内目前也没有发布专用的一键导入插件，不需要提前转存CSV的并行导入方案可以通过自定义延迟任务实现，具体逻辑如下：

实现原理 #

借助Python生态中支持.sav分块读取的pyreadstat库（也是pandas.read_spss的底层依赖），配合Dask的delayed原语封装分块读取任务，由Dask调度器自动将任务分配到多worker并行执行，全程直接读取原始.sav文件，不需要提前做全量格式转换。

参考实现代码 #

• 单个大体积.sav文件并行分块读取：

import dask.dataframe as dd
from dask import delayed
import pyreadstat

# 仅读取文件元数据获取总行数，不加载实际数据
_, sav_meta = pyreadstat.read_sav("target_data.sav", metadataonly=True)
total_row_count = sav_meta.number_rows
# 根据可用内存调整单分块行数
chunk_row_size = 100000

@delayed
def load_sav_part(file_path, row_offset, row_limit):
    part_df, _ = pyreadstat.read_sav(
        file_path,
        row_offset=row_offset,
        row_limit=row_limit
    )
    return part_df

# 构造全部分块读取延迟任务
delayed_tasks = []
for offset in range(0, total_row_count, chunk_row_size):
    delayed_tasks.append(
        load_sav_part("target_data.sav", offset, chunk_row_size)
    )

# 拼接为Dask DataFrame
dask_df = dd.from_delayed(delayed_tasks)

• 多个独立.sav文件并行导入：
  如果是多个独立的sav文件需要并行加载，不需要做行级切分，直接给每个文件封装读取任务即可：

import dask.dataframe as dd
from dask import delayed
import pyreadstat

sav_file_list = ["file1.sav", "file2.sav", "file3.sav"]

@delayed
def load_single_sav(file_path):
    df, _ = pyreadstat.read_sav(file_path)
    return df

dask_df = dd.from_delayed([load_single_sav(f) for f in sav_file_list])

注意事项 #

• 不要使用pandas.read_spss做任务封装，该接口不支持按行偏移读取指定区间数据，无法实现大文件分块加载。
• 分块大小需要根据worker的可用内存调整，避免单块数据量过大导致内存溢出。
• 该方案的并行效率取决于存储介质的IO性能，机械硬盘环境下不建议设置过高的并行度，避免IO争抢导致读取速度下降。

内容的提问来源于stack exchange，提问作者ChiaraMZM