使用BeautifulSoup的CSS选择器无法选中指定标签的问题求助
使用BeautifulSoup的CSS选择器无法选中指定标签的问题求助
大家好!我最近在用BeautifulSoup爬取网站数据,结果在使用soup.select()选择元素的时候碰了壁,想请各位大佬帮忙看看问题出在哪。
我想要抓取的是id为lst_hdr_bm的<div>元素下所有的<a>标签,在浏览器里查看页面结构,目标区域的层级是:div#lst_hdr_bm → ul → li → a。而且我在浏览器控制台用document.querySelectorAll('#lst_hdr_bm > ul > li > a')测试这个CSS选择器时,是能正常返回目标元素的。
但我用下面的代码跑的时候,却得不到预期的结果:
import urllib.request from bs4 import BeautifulSoup # 获取网页源码并创建BeautifulSoup对象 html = urllib.request.urlopen('https://infinitediscs.com') soup = BeautifulSoup(html, 'html.parser') tags = soup.select('#lst_hdr_bm > ul > li > a') print(tags)
有没有朋友能帮我分析下,为什么浏览器里能正常选中,用BeautifulSoup就不行呢?
备注:内容来源于stack exchange,提问作者MisutoWolf
相关产品推荐
相关产品推荐

