使用BeautifulSoup进行网页爬取时遇到AttributeError问题求助
使用BeautifulSoup进行网页爬取时遇到AttributeError问题求助
嘿,我来帮你捋捋这个问题~
你碰到的这个错误提示其实已经把原因说透啦:你现在操作的是一个ResultSet对象(说白了就是一堆元素组成的列表),但find()方法只能用在单个的BeautifulSoup Tag对象上,你大概率是不小心把find_all()返回的元素列表当成单个元素来调用find()了,或者之前的步骤返回的就是多个元素的集合,直接对它用find()肯定会报错。
给你两个针对性的解决办法:
- 如果你本来就只需要匹配到的第一个元素:把代码里的
find_all()换成find()就好啦。find()会直接返回第一个符合条件的Tag对象,这时候再调用find()就不会出错了。比如原来写的是soup.find_all('div', class_='post'),改成soup.find('div', class_='post')就行。 - 如果你确实需要处理多个元素(也就是本来就该用
find_all()):那你得先遍历这个ResultSet列表,对里面的每一个元素单独调用find()。举个实际的代码例子:
# 先获取所有目标元素的列表 item_list = soup.find_all('li', class_='product-item') # 逐个遍历列表里的元素 for item in item_list: # 对单个元素调用find()查找子元素 product_name = item.find('span', class_='name') print(product_name.get_text())
另外给你个小技巧:下次碰到类似的类型错误,可以先打印一下你操作的对象类型,比如print(type(你的变量名)),如果输出是<class 'bs4.element.ResultSet'>,那说明这是个列表,就得按列表的方式来处理哦~
备注:内容来源于stack exchange,提问作者Ahmed Elnazer
相关产品推荐
相关产品推荐

