多URL网页爬取遇错：No connection adapters were found for {url!r}

错误根源 #

你代码里有一行多余的请求代码：

response = requests.get(urls)

这里的urls是你生成的URL列表，但requests.get()只接受单个字符串类型的URL参数，没办法直接解析列表，这就是触发InvalidSchema错误的原因。

修正后的代码 #

把那行多余的请求删掉，保留循环里的逐个请求逻辑即可：

import requests
from bs4 import BeautifulSoup
import pandas as pd
from datetime import datetime
import re

pages = list(range(1, 3)) # 生成1、2页的页码
urls = [f"https://www.bol.com/nl/nl/s/?page={page}&searchtext=boek&view=list&sort=relevance2&rating=all" for page in pages]

dfs = []

for url in urls:
    response = requests.get(url)
    if response.status_code == 200:
        soup = BeautifulSoup(response.content, "html.parser")
        # 在这里编写你的爬取逻辑，比如提取商品信息等

补充说明 #

修正后代码会遍历你生成的每个URL，逐个发送请求并处理响应，符合多页面爬取的逻辑。后续你只需要在注释位置补充具体的元素提取代码即可。

内容的提问来源于stack exchange，提问作者jsb92