处理DataFrame滞后列缺失值及时间差拆分文件问题

问题场景 #

需要计算DataFrame中连续datetime的间隔，当间隔超过5分钟时将数据拆分为独立文件。当前遇到的具体问题：

• 计算出的时间差以毫秒为单位，不够直观
• 滞后（lag）生成的第一行存在缺失值，直接跳过缺失值无法完整更新DataFrame

解决方案步骤 #

• 转换时间差为分钟单位，简化判断逻辑
• 用coalesce处理第一行的缺失时间差，避免DataFrame出现缺失值
• 生成分组标识，通过累积计数实现时间差超限时的分组拆分
• 按分组批量保存文件

完整代码实现 #

using CSV
using DataFrames
using ShiftedArrays: lag 
using Dates

# 读取示例数据（修正日期格式为yyyy，避免年份解析错误）
df = CSV.read(IOBuffer("""
date
2024-01-25 19:15
2024-01-25 19:20
2024-01-25 19:25
2024-01-25 21:20
2024-01-25 21:25
"""), DataFrame; dateformat=DateFormat("yyyy-mm-dd H:M"))

# 计算连续时间差（转换为分钟，处理第一行缺失值）
df = transform(df, :date => 
    (x -> coalesce.(Dates.value.(x - lag(x, 1)) ./ (1000*60), 0.0)) => :diff_minutes)

# 生成分组标识：时间差超过5分钟时分组号递增
df[!, :group] = cumsum([1; (df.diff_minutes[2:end] .> 5)])

# 按分组拆分并保存文件
for g in unique(df.group)
    group_df = filter(row -> row.group == g, df)
    CSV.write("group_$g.csv", select(group_df, :date))  # 可按需保留其他列
end

代码说明 #

1. 时间差处理：Dates.value获取毫秒级时间差，除以60000转换为分钟；coalesce将第一行的missing替换为0.0，保证DataFrame无缺失值
2. 分组生成：cumsum累积计数，第一行默认归为第1组，后续行若时间差超过5分钟则分组号自动+1
3. 文件拆分：遍历所有分组，过滤对应数据并保存为独立CSV文件，文件名以分组号区分

内容的提问来源于stack exchange，提问作者GeoffRussell