如何在Dask-cuDF中将日期时间字符串转为时间戳并排序DataFrame

错误原因 #

你遇到的TypeError是因为datetime.datetime.strptime只能处理单个字符串，但map_partitions传递给to_timestamp函数的是整个cuDF Series（不是单个元素），自然会触发类型错误。

正确解决方案 #

不用手动遍历元素，直接利用Dask-cuDF/cuDF的向量化日期处理工具，既高效又适配GPU大数据场景，具体实现如下：

方法1：直接用Dask-cuDF原生to_datetime（推荐） #

import dask_cudf as ddf
import cudf

# 示例数据
cdf = cudf.DataFrame({
    'city': ['Dallas', 'Bogota', 'Chicago', 'Juarez'],
    'timestamp': ['2019-12-29 14:15:08 UTC', '2019-12-30 10:30:15 UTC', '2019-12-31 18:45:30 UTC', '2020-01-01 03:20:45 UTC']
})

# 创建Dask-cuDF DataFrame
dask_df = ddf.from_cudf(cdf, npartitions=2)

# 1. 转换日期字符串为datetime类型，再转成秒级时间戳
dask_df['timestamp'] = ddf.to_datetime(dask_df['timestamp'], format="%Y-%m-%d %H:%M:%S UTC").astype('int64') // 10**9

# 2. 按时间戳列排序
sorted_dask_df = dask_df.sort_values(by='timestamp')

# 查看结果（compute()触发计算，大数据场景按需使用）
print(sorted_dask_df.compute())

方法2：修改map_partitions的处理函数 #

如果需要自定义处理逻辑，让函数接收整个Series而非单个元素：

import dask_cudf as ddf
import cudf

cdf = cudf.DataFrame({
    'city': ['Dallas', 'Bogota', 'Chicago', 'Juarez'],
    'timestamp': ['2019-12-29 14:15:08 UTC', '2019-12-30 10:30:15 UTC', '2019-12-31 18:45:30 UTC', '2020-01-01 03:20:45 UTC']
})

dask_df = ddf.from_cudf(cdf, npartitions=2)

def to_timestamp(series):
    # 用cuDF的to_datetime处理整个Series
    dt_series = cudf.to_datetime(series, format="%Y-%m-%d %H:%M:%S UTC")
    # 转成秒级时间戳
    return dt_series.astype('int64') // 10**9

# 指定meta为int64类型（和返回值类型一致）
dask_df['timestamp'] = dask_df['timestamp'].map_partitions(to_timestamp, meta=('timestamp', 'int64'))

# 排序
sorted_dask_df = dask_df.sort_values(by='timestamp')
print(sorted_dask_df.compute())

关键说明 #

• 优先用Dask-cuDF的原生方法，避免手动遍历元素，充分利用GPU加速能力，适合TB级别的大型数据集。
• astype('int64')得到的是纳秒级时间戳，除以10**9转换为和datetime.timestamp()一致的秒级时间戳。
• sort_values会自动处理Dask-cuDF的分区排序逻辑，无需手动合并分区。

内容的提问来源于stack exchange，提问作者user3448011