从Google Sheets读取URL时触发Selenium InvalidArgumentException问题

问题背景 #

通过gspread读取Google Sheets中某列的URL，转成列表、DataFrame再转为JSON列表后，打印URL显示格式正常，但调用driver.get(url)时触发InvalidArgumentException；直接将URL写死在代码中（如driver.get('https://www.example.com/path')）则可正常运行。

可能原因及解决方法 #

• URL包含不可见字符：表格单元格中的URL可能存在空格、换行符、全角空格或零宽空格等不可见字符，打印时无法直观察觉，但会导致Selenium识别失败。
  解决：对URL做清理处理，去除首尾空白及中间的不可见字符：

  import re
  cleaned_url = re.sub(r'\s+', '', url.strip())
  

• URL格式不规范：部分URL可能缺少http://或https://协议头，或单元格中存在多余的单/双引号。
  解决：

  1. 自动补全协议头：

     if not url.startswith(('http://', 'https://')):
         url = f'https://{url}'
     

  2. 去除多余引号：

     url = url.replace("'", "").replace('"', '')
     

• 数据类型异常：从表格读取的URL可能不是纯字符串类型（如包含其他对象属性），导致driver.get()无法解析。
  解决：强制转换为字符串后再处理：

  url_str = str(url)
  

• 特殊字符未编码：URL中的特殊字符（如中文、空格、&等）未正确编码，导致Selenium识别为无效参数。
  解决：使用urllib.parse.quote对URL进行编码：

  from urllib.parse import quote
  encoded_url = quote(url, safe=':/?&=')  # 保留URL关键符号不编码
  

综合处理示例代码 #

import re
from urllib.parse import quote

def process_url(raw_url):
    # 转为字符串
    url = str(raw_url)
    # 去除首尾空白和不可见字符
    url = url.strip()
    # 移除多余引号
    url = url.replace("'", "").replace('"', '')
    # 清理中间空白
    url = re.sub(r'\s+', '', url)
    # 补全协议头
    if not url.startswith(('http://', 'https://')):
        url = f'https://{url}'
    # 编码特殊字符
    return quote(url, safe=':/?&=')

# 使用示例
for raw_url in your_url_list:
    target_url = process_url(raw_url)
    driver.get(target_url)

内容的提问来源于stack exchange，提问作者mr7