Python requests爬取CSV内URL提示No connection adapters错误如何解决
报错根因
csv.reader迭代返回的每一行是列表类型,每一个元素对应CSV文件一行里的一列数据。你直接把列表类型的line传入requests.get(),requests会自动把列表转成['url内容']格式的字符串,和你看到的报错信息完全匹配,不是你本地文件里有多余字符,是参数类型传错了。
另外你代码里还有几个隐性错误:
- 写入URL到文件时,你写的是
+ 'n',不是换行符\n,会导致所有URL连在一起,后续读取完全错位 - 你把requests返回的响应对象直接传给BeautifulSoup,没有取响应文本,后续解析也会报错
- 写入结果到CSV的代码放在了循环外面,只会保存最后一条URL的解析结果
- 你目前用
find('li')定位信息,只会取页面第一个li元素,没法分别拿到来源、作者、许可证三类信息
修复步骤
- 修正写URL文件的换行符
把写文件的代码段替换为:
with open('kalitools.csv', 'w', encoding='utf-8') as file: for url in data: file.write(str(url) + '\n')
- 修正读取URL和请求的逻辑
把后续读取CSV解析的代码段替换为:
import requests from bs4 import BeautifulSoup import csv # 全局关闭requests的SSL告警,避免校验报错 requests.packages.urllib3.disable_warnings() with open('E:/KaliScrape/kalitools.txt', 'r', encoding='utf-8') as f_urls, open('ommitted/output.txt', 'w', newline='', encoding='utf-8') as f_output: csv_urls = csv.reader(f_urls) csv_output = csv.writer(f_output) csv_output.writerow(['Source', 'Author', 'License']) for line in csv_urls: # 取每行第一列的URL字符串,去除首尾空白 target_url = line[0].strip() # 跳过空行 if not target_url: continue # 请求URL,关闭SSL校验避免报错,加超时避免卡死 r = requests.get(target_url, verify=False, timeout=10) # 传入响应文本做解析 soup = BeautifulSoup(r.text, 'lxml') # 根据Kali工具页的实际结构调整定位规则,此处适配标准Kali工具介绍页的侧边栏信息 info_items = soup.select('div.tool-info li') src = info_items[0].text.strip().split(':',1)[-1].strip() if len(info_items)>=1 else '无' auth = info_items[1].text.strip().split(':',1)[-1].strip() if len(info_items)>=2 else '无' lic = info_items[2].text.strip().split(':',1)[-1].strip() if len(info_items)>=3 else '无' print('Source:', src) print('Author:', auth) print('License:', lic) # 写入行要放在循环内部,每条URL结果都保存 csv_output.writerow([src, auth, lic])
- 额外优化建议
你现在同时导入了urllib和requests两个请求库,逻辑重复,后续可以把前面抓取工具列表的逻辑也改成用requests实现,减少不必要的依赖。
内容的提问来源于stack exchange,提问作者Germ650
相关产品推荐
相关产品推荐

