BeautifulSoup4提取CoinMarketCap表格时如何过滤冗余内容及修正代码问题
问题修复方案
核心错误排查
- 错误使用Python内置
list类型:你没有提前自定义空列表存储结果,直接操作Python内置的list类并打印该类本身,所以输出了<class 'list'>,需要先声明自定义的空列表用来存匹配到的数据。 - 循环判断逻辑错误:现有判断条件
if class_value in coin_table是在全部td标签的集合中匹配字符串类名,永远不会返回True,应该针对每次遍历到的单个td元素做class匹配。 - class匹配方式错误:BeautifulSoup中元素的class为多值属性,返回格式是列表,直接匹配字符串需要用对应的方法处理。
修正后代码
coin_table = soup.find_all('td') class_value = 'sc-1eb5slv-0 iJjGCS' # 先声明自定义空列表 result = [] for td in coin_table: # 判断当前td是否包含目标class if td.get('class') and ' '.join(td.get('class')) == class_value: # 直接取标签内的文本内容,不用存储整个标签对象 result.append(td.get_text(strip=True)) print(result)
更简洁的替代写法
不需要自行遍历所有td,可以直接用BeautifulSoup的class过滤功能实现需求:
result = [td.get_text(strip=True) for td in soup.find_all('td', class_=class_value)] print(result)
补充说明
如果运行后返回空列表,大概率是coinmarketcap属于动态渲染站点,静态HTTP请求拿到的原始HTML里没有渲染后的业务数据,需要换用Selenium、Playwright这类模拟浏览器的工具爬取。
内容的提问来源于stack exchange,提问作者nate
相关产品推荐
相关产品推荐

