情感分析模型处理大数据集时出现list index out of range错误求助

嘿，你的问题很典型——小数据集没触发错误，但大数据集就报list index out of range，核心原因肯定是CSV里存在格式不规范的行，比如空行、列数不足的行（有的行没有row[0]或row[1]对应的列），小数据集刚好没碰到这类脏数据，大数据集里就暴露出来了。

我帮你梳理下问题点和修复方案：

问题根源 #

你的代码直接访问row[0]和row[1]，但没有做任何行格式检查：

• 如果CSV里有空行，row会是一个空列表，访问row[0]直接报错
• 如果某行的列数不足2（比如少了逗号分隔符），row的长度小于2，访问row[1]就会触发索引越界

修复后的代码 #

import re
import csv

# 先补全你遗漏的reader初始化步骤
with open("dataset.csv", "r") as fh:
    reader = csv.reader(fh)
    dataset = {}
    no_of_items = {}

    # 遍历行时加入行号，方便定位错误行
    for row_num, row in enumerate(reader, start=1):
        # 跳过空行或列数不足2的行，同时打印警告信息
        if len(row) < 2:
            print(f"警告：第{row_num}行格式异常（列数不足/空行），已跳过")
            continue
        
        # 保留你的原有业务逻辑
        no_of_items.setdefault(row[1], 0)
        no_of_items[row[1]] += 1
        dataset.setdefault(row[1], {})
        
        split_data = re.split('[^a-zA-Z\']', row[0])
        for i in split_data:
            if len(i) > 2:
                # 假设你原代码是要统计词频，补全逻辑示例
                word = i.lower()
                dataset[row[1]].setdefault(word, 0)
                dataset[row[1]][word] += 1

额外优化建议 #

1. 用with语句管理文件：自动关闭文件，避免资源泄漏，比手动fh.close()更安全
2. 异常捕获兜底：如果担心还有其他意外错误，可以给核心逻辑加try-except，确保程序不崩溃

   for row_num, row in enumerate(reader, start=1):
       try:
           # 你的核心处理逻辑放在这里
       except IndexError as e:
           print(f"第{row_num}行出错：{e}，行内容为{row}")
           continue
   

3. 检查CSV分隔符：如果你的CSV不是用逗号分隔（比如制表符），要在csv.reader里指定delimiter参数，比如csv.reader(fh, delimiter='\t')

内容的提问来源于stack exchange，提问作者 OK91