解决Pandas读取TSV文件的DtypeWarning及数据类型排查问题

问题背景 #

我需要读取一批TSV数据集文件，这类文件通常包含3列，但部分文件零散存在额外的2个制表符分隔值。我原本的处理思路是按5列读取后删除多余两列，初始代码如下：

for i in range(101, 154): 
    print(i)
    # 读取文件到DataFrame
    thisfile = pd.read_csv(f'pgc-csv/2022_06_22_TRPV1_AAV488_6x10-11_No1/2022-06-22_TRPV1_AAV488_6x10-11_No{i}.txt', 
                      skiprows=10, header = None, 
                      names = ['Время, s', 'Laser, V', 'ECG lead', 'empty1', 'empty2'], 
                      encoding = 'unicode_escape', delimiter = '\t', 
                      )
    # 删除多余列
    del thisfile['empty1']
    del thisfile['empty2']

处理异常文件时出现警告：DtypeWarning: Columns (3) have mixed types. Specify dtype option on import or set low_memory=False.

参考资料指定各列数据类型后仍报错，修改后的代码：

for i in range(101, 154):
    print(i)
    # 读取文件到DataFrame
    thisfile = pd.read_csv(f'pgc-csv/2022_06_22_TRPV1_AAV488_6x10-11_No1/2022-06-22_TRPV1_AAV488_6x10-11_No{i}.txt', 
                      skiprows=10, header = None, 
                      names = ['Время, s', 'Laser, V', 'ECG lead', 'empty1', 'empty2'], 
                      encoding = 'unicode_escape', delimiter = '\t', 
                      dtype={'Время, s': float, 'Laser, V':float, 'ECG lead': float, 'empty1': 'str', 'empty2': 'str'})
    # 删除多余列
    del thisfile['empty1']
    del thisfile['empty2']

技术问题 #

1. 如何消除该DtypeWarning警告？
2. 我认为DataFrame中存在非float类型的值，尝试以下代码筛选未成功，该如何排查？

ecgfile[lambda x: not isinstance(x['Время, s'], float)]

ecgfile[lambda x: type(x['Время, s']) is not float]

3. 是否有更优的整体处理方案？

1. 消除DtypeWarning警告 #

该警告是因为pandas读取大文件时会分块检测列类型，当某列存在混合类型时触发，可通过两种方式解决：

• 关闭分块检测：设置low_memory=False，强制一次性读取整个文件并推断类型，适合数据量不大的场景：

thisfile = pd.read_csv(..., low_memory=False)

• 指定类型+处理错误行：如果指定dtype后仍报错，说明部分行无法解析为指定类型，配合on_bad_lines='warn'或on_bad_lines='skip'跳过/警告错误行：

thisfile = pd.read_csv(..., 
                      dtype={'Время, s': float, 'Laser, V':float, 'ECG lead': float, 'empty1': 'str', 'empty2': 'str'},
                      on_bad_lines='warn')

注意：确保unicode_escape编码能正确解析含非ASCII字符的列名，避免编码问题导致类型识别错误。

2. 排查DataFrame中的非float值 #

你之前的代码错误在于，x['Время, s']返回的是Series对象，不是单个元素，所以判断的是Series类型而非元素类型。正确排查方法：

• 找出无法转换为float的行：

invalid_rows = ecgfile[pd.to_numeric(ecgfile['Время, s'], errors='coerce').isna()]
print(invalid_rows)

• 查看元素类型分布：

type_counts = ecgfile['Время, s'].apply(type).value_counts()
print(type_counts)

• 筛选非float类型的行：

non_float_rows = ecgfile[ecgfile['Время, s'].apply(type) != float]
print(non_float_rows)

3. 更优的整体处理方案 #

无需读取多余列再删除，直接读取目标3列，同时处理异常场景：

import os

for i in range(101, 154):
    file_path = f'pgc-csv/2022_06_22_TRPV1_AAV488_6x10-11_No1/2022-06-22_TRPV1_AAV488_6x10-11_No{i}.txt'
    # 检查文件是否存在，避免报错中断循环
    if not os.path.exists(file_path):
        print(f"文件 {file_path} 不存在，跳过")
        continue
    print(i)
    # 只读取前3列，自动忽略后续多余列
    thisfile = pd.read_csv(
        file_path,
        skiprows=10,
        header=None,
        names=['Время, s', 'Laser, V', 'ECG lead'],
        encoding='unicode_escape',
        delimiter='\t',
        usecols=[0,1,2],  # 明确指定读取列索引
        dtype={'Время, s': float, 'Laser, V': float, 'ECG lead': float},
        low_memory=False,
        on_bad_lines='warn'
    )
    # 后续处理逻辑

该方案优势：

• 减少内存占用，无需加载无用列
• 直接聚焦目标数据，避免多余列的类型问题
• 结合文件存在性检查，提升循环稳定性

内容的提问来源于stack exchange，提问作者Diana