如何通过Python循环实现链接数字递增以批量爬取页面数据
你可以通过for循环配合范围生成函数range()+字符串格式化实现遍历需求,修改后的代码示例如下:
import time # 自定义遍历的数值起止,示例为从1009遍历到1020 start_num = 1009 end_num = 1020 for num in range(start_num, end_num + 1): # 用f-string动态拼接pase后的数字生成目标链接 rlista = f"https://go.lime-go.com/395012/Organization/pase{num}/getEmployees" page = self.driver.get(rlista) # 此处可补充你抓取JSON数据的业务逻辑 time.sleep(2)
补充说明:
range()为左闭右开区间,所以如果需要包含设置的结束数值,第二个参数要填end_num + 1- 可根据实际需求调整
start_num和end_num的数值,自定义遍历范围 - 建议补充异常捕获逻辑,避免单页面加载失败导致整个脚本终止,优化示例如下:
for num in range(start_num, end_num + 1): try: rlista = f"https://go.lime-go.com/395012/Organization/pase{num}/getEmployees" page = self.driver.get(rlista) # 你的数据抓取逻辑 time.sleep(2) except Exception as e: print(f"访问pase{num}页面出错,错误信息:{e}") continue
内容的提问来源于stack exchange,提问作者Tobias
相关产品推荐
相关产品推荐

