Python爬虫处理第741个有效链接时报IndexError: list index out of range

常见触发原因 #

• 循环逻辑边界错误：最常见的情况是遍历列表时混用了索引计数和迭代逻辑，比如同时用for i in range(len(link_list))遍历，又在循环内部对i做了额外自增操作（比如遇到跳转手动加1跳过下一条），当累加的i超过len(link_list)-1时就会触发越界，和第741个链接本身是否有效没有关系。
• 列表在运行中被动态修改：如果代码在爬取过程中会动态修改链接列表的内容（比如爬完一条就删除对应元素、去重时误删了未爬取的元素），初始2500条的列表在运行到第741次循环时实际长度已经小于740（Python索引从0开始，第741个元素对应索引是740），此时取索引就会报错，单独打印初始列表的第741个元素自然是正常的。
• 子内容提取逻辑错误：如果代码在爬取单页内容时，会提取页内的子链接存到另一个列表，并且对这个子列表做了固定索引访问（比如固定取sub_link[2]作为详情页链接），而第741个链接对应的页面里子链接数量不足3个，就会在子列表访问时报错，容易误以为是总链接列表的索引问题。
• 索引计数偏移错误：要注意Python列表索引从0开始，你提到的「第741个链接」如果是按自然计数的1开始算，对应索引是740，如果你的代码里写死了link_list[741]作为某个逻辑节点，同时循环在异常捕获后已经跳过了部分元素，实际累计访问到的索引超过列表长度也会报错。

快速排查方法 #

在循环开头打印当前索引值和当前列表长度，报错时就能直接定位问题：

for i in range(len(link_list)):
    # 新增下面这行打印逻辑
    print(f"当前索引：{i}，列表总长度：{len(link_list)}")
    # 原有爬取逻辑

如果需要定位具体是哪个列表触发的越界，可以给所有列表索引访问的代码加异常捕获：

try:
    current_link = link_list[i]
    # 其他包含索引访问的逻辑
except IndexError as e:
    print(f"触发越界的索引值：{i}，当前操作的列表长度：{len(link_list)}")
    raise e

内容的提问来源于stack exchange，提问作者restingquartH