情感分析代码报错：AttributeError: 'float'对象无replace属性

问题描述 #

我正在开展情感分析相关的数据科学项目，运行以下文本预处理代码时出现错误：

def remove_links(text):
    # 移除制表符、换行符及反斜杠片段
    text = text.replace('\t'," ").replace('\n'," ").replace('\u'," ").replace('\',"")
    # 移除非ASCII字符（表情、中文等）
    text = text.encode('ascii', 'replace').decode('ascii')
    # 移除提及、链接、话题标签
    text = ' '.join(re.sub("([@#][A-Za-z0-9]+)|(\w+://\S+)"," ", text).split())
    # 移除URL
    return text.replace("http://", " ").replace("https://", " ")

报错信息：

4 frames
<ipython-input-31-cc63b7cbe45d> in remove_links(text)
      6 def remove_links(text):
      7     # menghapus tab, new line, ans back slice
----> 8     text = text.replace('\t'," ").replace('\n'," ").replace('\u'," ").replace('\',"")
      9     # menghapus non ASCII (emoticon, chinese word, .etc)
     10     text = text.encode('ascii', 'replace').decode('ascii')

AttributeError: 'float' object has no attribute 'replace'

错误原因 #

1. 输入数据存在浮点数类型值（比如NaN），而非字符串，导致调用replace方法时触发错误，因为浮点数没有该属性。
2. 代码存在语法错误：replace('\',"")中的反斜杠未转义，无法正确识别为字符。

解决方案 #

1. 修复函数内的类型处理与语法错误 #

在函数开头先校验输入类型，同时修正反斜杠转义问题：

def remove_links(text):
    # 处理非字符串输入，比如NaN这类float值
    if not isinstance(text, str):
        text = str(text) if text is not None else ""
    
    # 移除制表符、换行符及反斜杠（修复反斜杠转义）
    text = text.replace('\t'," ").replace('\n'," ").replace('\u'," ").replace('\\', "")
    # 移除非ASCII字符（表情、中文等）
    text = text.encode('ascii', 'replace').decode('ascii')
    # 移除提及、链接、话题标签
    text = ' '.join(re.sub("([@#][A-Za-z0-9]+)|(\w+://\S+)"," ", text).split())
    # 移除URL
    return text.replace("http://", " ").replace("https://", " ")

2. 提前清洗数据集 #

在调用预处理函数前，先统一处理数据集中的异常值，以pandas为例：

import pandas as pd

# 假设文本数据存储在df的text列
df['text'] = df['text'].fillna("")  # 将NaN替换为空字符串
df['text'] = df['text'].astype(str)  # 强制转换所有值为字符串类型

内容的提问来源于stack exchange，提问作者Braina Mulya Tritama