从CSV读取URL调用driver.get()报‘URL must be a string’错误求解决

错误原因 #

你的代码中，start_urls是一个URL列表，但driver.get()方法只能接受单个字符串格式的URL作为参数，直接传入列表必然触发类型错误。

解决方案 #

遍历start_urls列表，逐个取出其中的字符串URL进行访问。同时建议过滤掉列表中的空行或无效条目，避免后续执行出错。

修改后的完整代码 #

from selenium import webdriver           
import time
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.common.by import By
from webdriver_manager.chrome import ChromeDriverManager
from bs4 import BeautifulSoup
import pandas as pd
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.wait import WebDriverWait
import requests
from csv import writer


with open("data.csv") as file:
    # 过滤空行，确保每个元素都是有效字符串URL
    start_urls = [line.strip() for line in file if line.strip()]  

    options = webdriver.ChromeOptions()
    options.add_argument("--no-sandbox")
    options.add_argument("--disable-gpu")
    options.add_argument("--window-size=1920x1080")
    options.add_argument("--disable-extensions")
    driver = webdriver.Chrome(service=Service(ChromeDriverManager().install()))

    # 遍历列表，逐个访问URL
    for url in start_urls:
        try:
            driver.get(url)
            # 这里可以添加你的页面处理逻辑，比如等待元素、解析内容等
            # 示例：等待页面标题加载完成
            WebDriverWait(driver, 10).until(EC.title_contains("目标关键词"))
        except Exception as e:
            print(f"访问URL {url} 出错: {str(e)}")

    driver.quit()  # 记得关闭浏览器

额外提示 #

• 避免使用time.sleep()做固定等待，优先用WebDriverWait结合expected_conditions等待页面元素加载，能大幅提升代码稳定性。
• 如果CSV是标准逗号分隔格式（比如第一列存储URL），用pandas读取会更规范：

  df = pd.read_csv("data.csv")
  # 替换"url_column"为你CSV中存储URL的列名
  start_urls = df["url_column"].dropna().astype(str).tolist()
  

内容的提问来源于stack exchange，提问作者Amen Aziz