Python中收到DtypeWarning时如何执行自定义操作？

问题场景 #

遍历数千个结构各异的CSV文件时，部分文件触发DtypeWarning，但不想全局启用low_memory=False，也无法提前指定所有列类型，同时不能用全局警告转错误的方式中断程序。

解决方案 #

使用Python的warnings模块临时捕获当前文件的警告，判断是否触发DtypeWarning，仅对触发警告的文件重新读取时启用low_memory=False：

import warnings
import pandas as pd

# 遍历CSV文件的循环中处理每个文件
for file_path in csv_file_paths:
    dtype_warning_triggered = False
    
    # 临时捕获当前读取操作的所有警告
    with warnings.catch_warnings(record=True) as caught_warnings:
        # 确保所有警告都被记录（不会自动输出）
        warnings.simplefilter("always")
        df = pd.read_csv(file_path)
        
        # 检查是否触发了DtypeWarning
        for warn in caught_warnings:
            if issubclass(warn.category, pd.errors.DtypeWarning):
                dtype_warning_triggered = True
                # 可选：打印警告信息，方便排查
                print(f"文件 {file_path} 触发DtypeWarning，将重新读取：{warn.message}")
                break
    
    # 如果触发警告，用low_memory=False重新读取
    if dtype_warning_triggered:
        df = pd.read_csv(file_path, low_memory=False)
    
    # 后续处理逻辑
    process_dataframe(df)

方案优势 #

• 精准控制：仅对触发DtypeWarning的文件启用low_memory=False，其余文件保持默认读取逻辑
• 无全局影响：仅在当前文件的读取上下文内临时记录警告，不会修改全局警告过滤规则，其他文件的警告仍正常处理
• 不中断程序：无需将警告转为错误，避免未捕获的警告导致程序终止

内容的提问来源于stack exchange，提问作者tuesday-pig_n_a_poke