基于Amazon数据集的LSTM建模中数据清洗函数报错的代码修正求助
Amazon数据集LSTM预处理函数报错修正方案
报错核心触发原因
你遇到的expected string or bytes-like object错误,本质是re.sub()正则处理环节接收到的输入不是字符串/字节类型。结合Amazon数据集的常见存储特征,触发场景一般是:文本字段存在空值(None、pandas读取产生的NaN)、混入了数值型的评分/标签字段、对象类型的非文本条目,直接传入正则逻辑就会抛出类型不匹配的错误。
除此之外,原代码本身存在流程逻辑bug:当remove_stopwords取默认值True时,停用词过滤完成后会直接return分词结果,完全跳过后续的英文词干提取环节,和你最初设计的“清洗后输出词干化文本”的目标完全不符。
代码修正点
- 增加入参类型兜底:进入正则处理前,对非字符串类型的输入做统一转换,空值直接转为空字符串,从根源规避类型报错
- 修正分支逻辑中断问题:停用词过滤作为流程的可选环节,不要提前中断返回,保证所有配置下都能走完“正则清洗-小写分词-可选停用词过滤-词干提取”的全流程
- 词干提取器提前全局初始化,避免每次调用函数都重复加载,提升清洗效率
修正后可直接运行的函数代码
import re import nltk from nltk.corpus import stopwords from nltk.stem.snowball import EnglishStemmer # 全局初始化英文词干提取器,减少重复加载开销 eng_stemmer = EnglishStemmer() def data_clean(rev, remove_stopwords=True): # 非字符串值统一兜底处理,避免re.sub抛出类型错误 if not isinstance(rev, str): rev = "" if rev is None else str(rev) # 剔除非英文字符 new_text = re.sub("[^a-zA-Z]", " ", rev) # 转小写完成基础分词 words = new_text.lower().split() # 可选停用词过滤 if remove_stopwords: english_stopwords = set(stopwords.words("english")) words = [w for w in words if w not in english_stopwords] # 批量执行词干提取 stemmed_result = [eng_stemmer.stem(word) for word in words] return stemmed_result
补充调用注意事项
如果是用pandas读取Amazon数据集做批量清洗,建议在调用清洗函数前对文本列做前置预处理:
- 对评论内容、摘要列执行缺失值填充:
df["reviewText"] = df["reviewText"].fillna("") - 对文本列统一做类型转换:
df["reviewText"] = df["reviewText"].astype(str)
经过这层前置处理后,即使函数内部不做类型兜底,也能从数据集层面消除非字符串输入的问题,跑批量清洗流程时不会再触发类型错误。
内容的提问来源于stack exchange,提问作者Francesca Strada
相关产品推荐
相关产品推荐

