解决Pandas处理大CSV时时间格式不匹配的ValueError问题

核心问题 #

你的CSV中start_time_ns和end_time_ns列存在两种时间格式：带毫秒的%Y-%m-%d %H:%M:%S.%f%z和不带毫秒的%Y-%m-%d %H:%M:%S%z，Pandas分块读取时会根据第一块数据锁定解析格式，后续遇到不匹配格式就抛出ValueError。

解决方案 #

方法1：自动推断时间格式（最简方案）

放弃在pd.read_csv中直接指定parse_dates，改为分块读取字符串后，用pd.to_datetime的infer_datetime_format=True参数自动识别每一行的格式，速度快且兼容两种格式：

chunksize = 10**6  # 根据你的内存大小调整，比如100万行/块
output_file = "processed_data.csv"

# 初始化输出文件，写入表头
first_chunk = True
for chunk in pd.read_csv(filename, chunksize=chunksize):
    # 解析时间列
    chunk['start_time_ns'] = pd.to_datetime(chunk['start_time_ns'], infer_datetime_format=True, errors='coerce')
    chunk['end_time_ns'] = pd.to_datetime(chunk['end_time_ns'], infer_datetime_format=True, errors='coerce')
    
    # 计算时间差
    chunk['time'] = chunk['end_time_ns'] - chunk['start_time_ns']
    
    # 写入处理后的块
    if first_chunk:
        chunk.to_csv(output_file, index=False)
        first_chunk = False
    else:
        chunk.to_csv(output_file, mode='a', header=False, index=False)

• errors='coerce'会把无效时间字符串转为NaT，方便后续排查问题；如果要严格校验，换成errors='raise'。
• infer_datetime_format=True会自动匹配时间格式，比完全不指定格式快10-100倍。

方法2：显式指定多格式列表（更可控）

如果明确知道只有两种格式，可以自定义解析函数遍历格式列表，精准匹配：

from datetime import datetime

# 定义支持的时间格式列表
TIME_FORMATS = [
    "%Y-%m-%d %H:%M:%S.%f%z",
    "%Y-%m-%d %H:%M:%S%z"
]

def parse_time_str(s):
    for fmt in TIME_FORMATS:
        try:
            return datetime.strptime(s, fmt)
        except ValueError:
            continue
    # 所有格式都不匹配时返回NaT
    return pd.NaT

chunksize = 10**6
output_file = "processed_data.csv"
first_chunk = True

for chunk in pd.read_csv(filename, chunksize=chunksize):
    chunk['start_time_ns'] = chunk['start_time_ns'].apply(parse_time_str)
    chunk['end_time_ns'] = chunk['end_time_ns'].apply(parse_time_str)
    chunk['time'] = chunk['end_time_ns'] - chunk['start_time_ns']
    
    # 写入逻辑同方法1
    if first_chunk:
        chunk.to_csv(output_file, index=False)
        first_chunk = False
    else:
        chunk.to_csv(output_file, mode='a', header=False, index=False)

• 这种方法避免了自动推断的不确定性，适合格式固定的场景，性能略低于方法1，但可控性更强。

额外注意事项

• 30GB的CSV文件分块处理时，务必根据可用内存调整chunksize，避免内存溢出。
• 如果需要保留纳秒精度，Pandas的datetime64[ns]类型完全支持，计算出的time列是Timedelta类型，可通过chunk['time'].dt.total_seconds() * 1e9提取总纳秒数。

内容的提问来源于stack exchange，提问作者Nagmat