使用Dask DataFrame导出CSV时，Completion Date列类型转换报错

问题原因 #

Dask自动类型推断时，错误将Completion Date列的ISO格式时间字符串（如2023-01-03T06:58:46.360000+00:00）识别为数值类型，导致后续保存时尝试将字符串转float失败，抛出ValueError: could not convert string to float错误。

解决方案 #

有两种可行的处理方式：

1. 显式指定时间列为字符串类型

直接告诉Dask该列是字符串，跳过自动类型推断：

import dask.dataframe as daskDataFrame

colsToKeep=['Email','Content Title','Completion Date','Status']
infile="E://t//1.csv"
outfile="E://t//2.csv"

dataSet = daskDataFrame.read_csv(
    infile,
    usecols=colsToKeep,
    dtype={'Completion Date': str}
)
dataSet.to_csv(outfile)

2. 解析为带时区的datetime类型

如果后续需要对时间列做计算，可以让Dask正确解析该列为带时区的datetime：

import dask.dataframe as daskDataFrame

colsToKeep=['Email','Content Title','Completion Date','Status']
infile="E://t//1.csv"
outfile="E://t//2.csv"

dataSet = daskDataFrame.read_csv(
    infile,
    usecols=colsToKeep,
    parse_dates=['Completion Date'],
    infer_datetime_format=True  # 自动适配ISO格式，也可手动指定format='%Y-%m-%dT%H:%M:%S.%f%z'
)
dataSet.to_csv(outfile)

补充说明 #

Dask的自动类型推断依赖采样数据，如果采样行中该列的格式特殊或存在异常值，就容易出现类型误判。显式指定dtype或parse_dates参数，能强制控制列的类型，避免这类错误。

内容的提问来源于stack exchange，提问作者Shail Khanna