NLP文本预处理设置全量数据范围却反复输出同一行Review记录

按故障出现概率从高到低排查即可：

• 第一优先级查循环/迭代逻辑错误
  90%的同类问题都是两个低级写法导致：要么遍历数据集时索引写死（比如固定写iloc[0]每次只取第一行），要么存储处理结果的列表/变量初始化放在了循环内部，每次迭代都会重置之前的结果，最终只留最后一次运行的单条数据。

  典型错误代码参考：

  # 两个错误：结果列表在循环内每次被清空，取数索引固定为0
  for idx in range(len(review_df)):
      processed_list = []
      raw_review = review_df['Review'].iloc[0]
      tokens = word_tokenize(str(raw_review))
      clean_tokens = [w for w in tokens if w not in en_stopwords]
      processed_list.append(clean_tokens)
  

  修正后写法：

  processed_list = [] # 结果列表初始化移到循环外
  for idx in range(len(review_df)):
      raw_review = review_df['Review'].iloc[idx] # 索引用动态迭代的idx
      raw_review = str(raw_review).lower()
      tokens = word_tokenize(raw_review)
      clean_tokens = [w for w in tokens if w not in en_stopwords and w.isalpha()]
      processed_list.append(clean_tokens)
  

• 第二优先级查pandas apply自定义函数逻辑错误
  如果用apply逐行做预处理，检查自定义函数是否正确接收了传入的单条文本参数，不要在函数内部直接读取DataFrame的固定行，否则逐行apply时每次都会返回同一条固定行的处理结果。

  错误写法示例：

  def clean_text(text):
      # 完全没用到传入的text参数，固定取第5行数据
      raw = review_df['Review'].iloc[5]
      return word_tokenize(str(raw))
  review_df['cleaned'] = review_df['Review'].apply(clean_text)
  

  修正时直接处理入参text即可，不要在函数内读全表固定行。

• 第三优先级查打印和原始数据问题
  先跑print(review_df.shape)确认读入的数据集行数、列数符合预期，排除读文件时因编码、分隔符配置错误，导致所有数据被合并成1行、或者nrows参数误设为1只读到1条数据的问题。
  再检查打印语句：如果每次打印都写print(processed_list[0])，自然只会输出第一条结果，别把切片索引写死。可以先打印len(processed_list)确认结果列表长度和数据集行数一致，再抽样打印多条结果核对。

内容的提问来源于stack exchange，提问作者Mariangel Ibarra