使用spaCy批量抽取数据集NLP实体时报float无len错误如何解决

问题根因 #

报错的核心原因是全量数据的text列存在缺失值（NaN），NaN在pandas中属于float类型，将其传入spaCy的nlp()方法时，方法内部会尝试计算输入文本的长度，因此触发TypeError: object of type 'float' has no len()报错。小批量测试未复现是因为测试样本刚好未覆盖带空值的行。

定位方法 #

• 执行dt['text'].isna().sum()统计text列的空值行数，确认是否存在缺失值
• 可打印异常行验证：print(dt[dt['text'].apply(lambda x: isinstance(x, float))]['text'])

修复方案 #

方案1：在实体抽取函数中增加空值判断（推荐） #

不需要修改原数据集，遇到空值直接返回空实体列表即可：

import pandas as pd

def all_ents(v):
    # 仅当输入为非空字符串时执行实体抽取，否则返回空列表
    if not isinstance(v, str) or pd.isna(v):
        return []
    return [(ent.text, ent.label_) for ent in nlp(v).ents]

dt['Entities'] = dt['text'].apply(lambda v: all_ents(v))

方案2：提前填充空值 #

先统一处理text列的缺失值，再执行原有逻辑：

# 将空值填充为空字符串
dt['text'] = dt['text'].fillna('')

# 原有逻辑不变
def all_ents(v):
    return [(ent.text, ent.label_) for ent in nlp(v).ents]

dt['Entities'] = dt['text'].apply(lambda v: all_ents(v))

内容的提问来源于stack exchange，提问作者user17143533