从S3读取JSON文件时Dask执行to_csv出现列表索引越界

从你的报错信息IndexError: list index out of range来看，这个问题出现在to_csv_chunk尝试访问dfs[0]时，说明处理第一个数据块时没有可用数据——大概率是从S3读取的JSON文件生成的Dask分区中存在空分区，或者读取过程中出现了异常导致数据没有正确加载。结合你本地读取正常的情况，下面是具体的排查和解决方法：

1. 排查并过滤S3上的空JSON文件 #

本地读取正常但S3报错，很可能是S3路径下存在零字节的空JSON文件。Dask读取这类文件后会生成空分区，当to_csv处理时，空分区会导致dfs列表为空，触发索引越界错误。

解决方法：使用s3fs遍历S3路径，过滤掉空文件后再读取：

import s3fs
import dask.dataframe as dd

# 初始化S3文件系统
fs = s3fs.S3FileSystem()
# 获取所有匹配的JSON文件路径
all_files = fs.glob("s3://my-bucket/pets/*.json")
# 过滤掉大小为0的空文件
valid_files = [file for file in all_files if fs.size(file) > 0]

# 使用过滤后的文件列表创建Dask DataFrame
pets_data = dd.read_json(
    valid_files,
    meta=meta,
    blocksize=None,
    orient="records",
    lines=False
)

2. 调整blocksize参数避免读取异常 #

你设置了blocksize=None，这会让Dask尝试一次性读取整个文件，但在S3这类对象存储上，这种方式可能导致文件拆分异常（尤其是lines=False的情况下，JSON不是按行存储的），进而生成空分区。

建议设置合理的blocksize（比如64MB），让Dask按块读取文件：

pets_data = dd.read_json(
    "s3://my-bucket/pets/*.json",
    meta=meta,
    blocksize="64MB",  # 设置合适的块大小
    orient="records",
    lines=False
)

3. 验证meta参数的正确性 #

如果meta定义的结构和S3上JSON文件的实际结构不匹配，也可能导致Dask读取后生成空数据或异常分区。可以先读取一个样本文件到Pandas，用它的结构作为meta：

import pandas as pd

# 读取单个S3上的样本JSON文件
sample_df = pd.read_json(
    "s3://my-bucket/pets/sample.json",
    orient="records",
    lines=False
)

# 使用样本DataFrame的dtypes作为meta
pets_data = dd.read_json(
    "s3://my-bucket/pets/*.json",
    meta=sample_df.dtypes,
    blocksize=None,
    orient="records",
    lines=False
)

4. 检查并过滤空分区 #

如果上述步骤后仍有问题，可以先检查Dask DataFrame的分区情况，过滤掉空分区后再执行to_csv：

# 查看分区数量和每个分区的长度
print(f"分区数量：{pets_data.npartitions}")
partition_lengths = pets_data.map_partitions(len).compute()
print(f"各分区长度：{partition_lengths}")

# 过滤掉空分区
pets_data = pets_data[pets_data.map_partitions(lambda df: df.index.notna())]

# 再尝试保存
pets_data.to_csv("pets-full-data.csv", single_file=True, index=False)

通过以上步骤，应该能解决你遇到的to_csv报错问题。

内容的提问来源于stack exchange，提问作者Carlos Rojas