使用Selenium爬取Instagram时URL列表无法累加仅存51条的问题
Instagram爬虫URL累加失效问题修复方案
问题根因
- 核心逻辑层级错误:
links = []的初始化语句写在了无限滚动循环的内部,每完成一轮滚动、提取完当前页面加载的链接后,下一轮循环会立刻把之前存的历史链接全部清空,重新创建一个空列表存当前批次的链接。
Instagram移动端采用懒加载渲染机制,单次滚动触发的接口返回的媒体链接固定在50条左右,刚好对应观测到的“列表始终只有51条内容”的现象。 - 去重逻辑作用域错误:原代码的链接去重判断是在单轮循环的批次列表内做的,即便后续调整了列表位置,也会因为只在单批次内查重,导致同一个链接因为多轮重复渲染被反复追加,产生大量冗余数据。
- 无效冗余代码:原代码中的
if False: proceed = False分支是永远不会触发的死代码,配套的proceed变量状态判断完全没有实际校验作用,属于无效逻辑。
修复步骤
- 调整列表作用域:将用于存储全量链接的空列表初始化操作移动到滚动循环开始之前,保证整个滚动流程中列表不会被重置,新增链接可以持续追加。
- 优化去重逻辑:提取单条URL后,判断该链接是否已经存在于累计的全量链接列表中,仅将未存储过的链接追加到列表中,避免重复数据。
- 清理无效代码:删除永远不会触发的死分支,移除无实际作用的
proceed状态判断,直接在滚动流程结束后执行文件写入操作。 - 优化文件写入逻辑:使用
with上下文管理器操作文件,避免手动关闭文件时出现的资源泄漏问题。
修复后的URL提取模块核心代码
from time import sleep import os def extract(browser, url): print("This process maybe it will take like 5 minutes.\nDon't close the program......") last_height = 0 # 列表初始化在循环外部,全程不会被重置 all_media_links = [] while True: browser.execute_script('window.scrollTo(0, document.body.scrollHeight);') sleep(1) elements = browser.find_elements_by_xpath('//a[@href]') for elem in elements: current_url = elem.get_attribute('href') # 跨全量存储链接做去重,仅匹配Instagram标准媒体路径 url_path_segments = current_url.split('/') if 'p' in url_path_segments and current_url not in all_media_links: all_media_links.append(current_url) print(f"已累计抓取{len(all_media_links)}条媒体链接") sleep(2) new_height = browser.execute_script("return document.body.scrollHeight") if new_height == last_height: break last_height = new_height sleep(10) # 直接使用累计完成的全量链接列表执行写入逻辑 account_name = browser.find_element_by_class_name("_7UhW9.fKFbl.yUEEX.KV-D4.fDxYl").text print("开始创建本地文件夹存储提取的链接,请不要关闭程序") sleep(5) save_dir = f"C:\\Users\\bilakos\\Desktop\\PYTHON_PROJECTS\\InstaAutoPhotoUpload\\{account_name}" sleep(2) try: os.mkdir(save_dir) with open(f"{save_dir}\\extracted_links.txt", 'w', encoding='utf-8') as file_handler: print("extracted_links.txt 文件已创建") for link in all_media_links: file_handler.write(link + '\n') print("链接已成功写入文件") except FileExistsError: print("目标文件夹已存在,将直接写入链接文件") with open(f"{save_dir}\\extracted_links.txt", 'w', encoding='utf-8') as file_handler: print("extracted_links.txt 文件已创建") for link in all_media_links: file_handler.write(link + '\n') print("链接已成功写入文件")
修复完成后,整个滚动流程中抓到的所有不重复媒体链接都会持续存储在同一个列表中,滚动结束后写入的文件会包含账号全量的媒体URL,不会再出现仅保留最后一屏51条链接的问题。
内容的提问来源于stack exchange,提问作者bilakos
相关产品推荐
相关产品推荐

