Pandas DataFrame转int64遇OverflowError问题排查求助

一、即时捕获异常数据详情 #

在df.astype代码块外包裹try-except，触发OverflowError时立刻输出关键信息：

• 打印目标字段的最大值、最小值和当前数据类型，同时保存异常数据：

  try:
      df['target_col'] = df['target_col'].astype('int64')
  except OverflowError:
      print(f"字段极值: max={df['target_col'].max()}, min={df['target_col'].min()}")
      print(f"当前字段类型: {df['target_col'].dtype}")
      # 筛选并保存超出int64范围的数据
      int64_max = 9223372036854775807
      int64_min = -9223372036854775808
      bad_data = df[(df['target_col'] > int64_max) | (df['target_col'] < int64_min)]
      bad_data.to_csv('overflow_error_data.csv', index=False)
      raise  # 重新抛出异常，不中断原有告警逻辑
  

• 重点排查是否存在超大数值（比如远超int64上限的科学计数法值、字符串格式的超大数字）

二、排查数据源头的异常 #

• 检查上游数据源：确认无线统计的原始数据里，是否有本应是字符串的ID类字段被当成数值读取，或者存在1e30这类科学计数法表示的无效值
• 验证数据拉取逻辑：如果是从数据库/API获取数据，确认拉取时的字段类型映射是否正确，比如是否把数据库中varchar类型的超大数字直接转成了Python int

三、针对性修复尝试 #

• 先清洗再转换：在执行astype前过滤超出范围的值，用pandas的可空整数类型兼容缺失值：

  int64_max = 9223372036854775807
  int64_min = -9223372036854775808
  # 替换超出范围的值为None
  df['target_col'] = df['target_col'].apply(lambda x: x if int64_min <= x <= int64_max else None)
  # 用Int64（大写I）支持空值的整数类型
  df['target_col'] = df['target_col'].astype('Int64')
  

• 换用numpy直接转换：尝试用numpy.array替代pandas的astype，区分是pandas还是numpy层面的问题：

  df['target_col'] = np.array(df['target_col'], dtype=np.int64)
  

• 小版本升级库：虽然当前版本兼容Python3.8，但可以尝试把pandas升级到1.5.x分支的最新版（或numpy 1.24.x最新版），部分旧版本存在数值转换的边缘case bug

四、长期监控预防 #

• 加数据质量日志：每次任务运行时，记录目标字段的极值、非数值记录数，写入监控日志，方便追踪异常出现的规律
• 开启Celery完整堆栈日志：配置Celery记录任务的详细堆栈信息，包括异常触发时的数据集上下文，避免只看到表面错误

内容的提问来源于stack exchange，提问作者Deepak Keshari