You need to enable JavaScript to run this app. Python requests爬取CSV内URL提示No connection adapters错误如何解决
优惠活动
大模型
产品
解决方案
定价
更多

Python requests爬取CSV内URL提示No connection adapters错误如何解决

报错根因

csv.reader迭代返回的每一行是列表类型,每一个元素对应CSV文件一行里的一列数据。你直接把列表类型的line传入requests.get(),requests会自动把列表转成['url内容']格式的字符串,和你看到的报错信息完全匹配,不是你本地文件里有多余字符,是参数类型传错了。

另外你代码里还有几个隐性错误:

  • 写入URL到文件时,你写的是+ 'n',不是换行符\n,会导致所有URL连在一起,后续读取完全错位
  • 你把requests返回的响应对象直接传给BeautifulSoup,没有取响应文本,后续解析也会报错
  • 写入结果到CSV的代码放在了循环外面,只会保存最后一条URL的解析结果
  • 你目前用find('li')定位信息,只会取页面第一个li元素,没法分别拿到来源、作者、许可证三类信息

修复步骤
  1. 修正写URL文件的换行符
    把写文件的代码段替换为:
with open('kalitools.csv', 'w', encoding='utf-8') as file:
    for url in data:
        file.write(str(url) + '\n')
  1. 修正读取URL和请求的逻辑
    把后续读取CSV解析的代码段替换为:
import requests
from bs4 import BeautifulSoup
import csv

# 全局关闭requests的SSL告警,避免校验报错
requests.packages.urllib3.disable_warnings()

with open('E:/KaliScrape/kalitools.txt', 'r', encoding='utf-8') as f_urls, open('ommitted/output.txt', 'w', newline='', encoding='utf-8') as f_output:
    csv_urls = csv.reader(f_urls)
    csv_output = csv.writer(f_output)
    csv_output.writerow(['Source', 'Author', 'License'])
    
    for line in csv_urls:
        # 取每行第一列的URL字符串,去除首尾空白
        target_url = line[0].strip()
        # 跳过空行
        if not target_url:
            continue
        # 请求URL,关闭SSL校验避免报错,加超时避免卡死
        r = requests.get(target_url, verify=False, timeout=10)
        # 传入响应文本做解析
        soup = BeautifulSoup(r.text, 'lxml')
        
        # 根据Kali工具页的实际结构调整定位规则,此处适配标准Kali工具介绍页的侧边栏信息
        info_items = soup.select('div.tool-info li')
        src = info_items[0].text.strip().split(':',1)[-1].strip() if len(info_items)>=1 else '无'
        auth = info_items[1].text.strip().split(':',1)[-1].strip() if len(info_items)>=2 else '无'
        lic = info_items[2].text.strip().split(':',1)[-1].strip() if len(info_items)>=3 else '无'
        
        print('Source:', src)
        print('Author:', auth)
        print('License:', lic)
        # 写入行要放在循环内部,每条URL结果都保存
        csv_output.writerow([src, auth, lic])
  1. 额外优化建议
    你现在同时导入了urllib和requests两个请求库,逻辑重复,后续可以把前面抓取工具列表的逻辑也改成用requests实现,减少不必要的依赖。

内容的提问来源于stack exchange,提问作者Germ650

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.15 02:15:03