转换DataFrame多列日期触发ValueError错误的解决求助

错误原因 #

直接使用pd.to_datetime(..., errors='coerce')报错，是因为目标日期列包含数字、空白、特殊字符等混合数据类型，列的dtype为object，触发了pandas内部类型检查的逻辑错误。

分步解决方法 #

• 步骤1：统一转换为字符串类型并清理无效值
  先把所有日期列转为字符串，同时将NaN/NaT这类特殊值转为空字符串，避免类型混乱：

  date_cols = ['date_col1', 'date_col2', 'date_col3', 'date_col4', 'date_col5']  # 替换为你的实际日期列名
  for col in date_cols:
      df[col] = df[col].astype(str).replace({'nan': '', 'NaT': ''})
  

• 步骤2：批量转换为日期格式
  用pd.to_datetime转换，指定errors='coerce'将无法转换的值设为NaT，加上infer_datetime_format=True可以自动推断日期格式并加速转换：

  for col in date_cols:
      df[col] = pd.to_datetime(df[col], errors='coerce', infer_datetime_format=True)
  

• 步骤3：（可选）清理特殊字符后再转换
  如果仍有转换失败的情况，先清理字符串中的非日期相关特殊字符，只保留数字、-、/这类日期分隔符：

  import re
  for col in date_cols:
      # 移除所有非数字、非-、非/的字符
      df[col] = df[col].astype(str).apply(lambda x: re.sub(r'[^\d/-]', '', x))
      df[col] = pd.to_datetime(df[col], errors='coerce', infer_datetime_format=True)
  

• 步骤4：验证转换结果
  检查转换后列的类型和无效值数量：

  print(df[date_cols].dtypes)  # 应显示datetime64[ns]
  print(df[date_cols].isna().sum())  # 统计各列的NaT数量
  

内容的提问来源于stack exchange，提问作者Paulo Cortez