You need to enable JavaScript to run this app. 基于Amazon数据集的LSTM建模中数据清洗函数报错的代码修正求助
优惠活动
大模型
产品
解决方案
定价
更多

基于Amazon数据集的LSTM建模中数据清洗函数报错的代码修正求助

Amazon数据集LSTM预处理函数报错修正方案

报错核心触发原因

你遇到的expected string or bytes-like object错误,本质是re.sub()正则处理环节接收到的输入不是字符串/字节类型。结合Amazon数据集的常见存储特征,触发场景一般是:文本字段存在空值(None、pandas读取产生的NaN)、混入了数值型的评分/标签字段、对象类型的非文本条目,直接传入正则逻辑就会抛出类型不匹配的错误。
除此之外,原代码本身存在流程逻辑bug:当remove_stopwords取默认值True时,停用词过滤完成后会直接return分词结果,完全跳过后续的英文词干提取环节,和你最初设计的“清洗后输出词干化文本”的目标完全不符。

代码修正点

  • 增加入参类型兜底:进入正则处理前,对非字符串类型的输入做统一转换,空值直接转为空字符串,从根源规避类型报错
  • 修正分支逻辑中断问题:停用词过滤作为流程的可选环节,不要提前中断返回,保证所有配置下都能走完“正则清洗-小写分词-可选停用词过滤-词干提取”的全流程
  • 词干提取器提前全局初始化,避免每次调用函数都重复加载,提升清洗效率

修正后可直接运行的函数代码

import re
import nltk
from nltk.corpus import stopwords
from nltk.stem.snowball import EnglishStemmer

# 全局初始化英文词干提取器,减少重复加载开销
eng_stemmer = EnglishStemmer()

def data_clean(rev, remove_stopwords=True):
    # 非字符串值统一兜底处理,避免re.sub抛出类型错误
    if not isinstance(rev, str):
        rev = "" if rev is None else str(rev)
    # 剔除非英文字符
    new_text = re.sub("[^a-zA-Z]", " ", rev)
    # 转小写完成基础分词
    words = new_text.lower().split()
    # 可选停用词过滤
    if remove_stopwords:
        english_stopwords = set(stopwords.words("english"))
        words = [w for w in words if w not in english_stopwords]
    # 批量执行词干提取
    stemmed_result = [eng_stemmer.stem(word) for word in words]
    return stemmed_result

补充调用注意事项

如果是用pandas读取Amazon数据集做批量清洗,建议在调用清洗函数前对文本列做前置预处理:

  • 对评论内容、摘要列执行缺失值填充:df["reviewText"] = df["reviewText"].fillna("")
  • 对文本列统一做类型转换:df["reviewText"] = df["reviewText"].astype(str)
    经过这层前置处理后,即使函数内部不做类型兜底,也能从数据集层面消除非字符串输入的问题,跑批量清洗流程时不会再触发类型错误。

内容的提问来源于stack exchange,提问作者Francesca Strada

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.24 19:36:02