如何抓取SoundCloud热门搜索TOP10艺术家并生成指定列DataFrame
问题分析
- 静态请求无法获取动态内容:SoundCloud热门搜索页面的艺术家列表是前端异步渲染生成的,直接通过
urlopen请求得到的静态HTML仅包含页面基础框架,没有你需要的艺术家数据,你拿到的第一个a标签是网站首页入口,所以输出为SoundCloud。 - 元素定位逻辑错误:原代码仅匹配页面第一个带href属性的a标签,完全没有定位到艺术家列表的对应DOM节点,自然无法拿到目标数据。
调整方案
1. 改用无头浏览器获取渲染后页面
使用playwright或selenium等工具获取页面完全渲染后的DOM内容,才能拿到异步加载的TOP10艺术家数据。
2. 修正元素定位逻辑
渲染完成后,定位热门搜索模块下的艺术家条目,提取对应名称和个人页链接。
3. 批量获取艺术家页面HTML
拿到10条链接后,逐个发起请求获取页面HTML,请求时携带标准请求头避免被反爬拦截。
4. 组装生成DataFrame
将收集到的三个字段数据转为pandas DataFrame格式。
示例修改代码
import pandas as pd import requests from bs4 import BeautifulSoup from selenium import webdriver from selenium.webdriver.common.by import By import time # 配置浏览器(Chrome为例,需提前对应安装浏览器驱动) options = webdriver.ChromeOptions() options.add_argument('--headless=new') # 无头模式,不弹出浏览器窗口 options.add_argument('user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36') driver = webdriver.Chrome(options=options) # 访问目标页面,等待渲染完成 url = 'https://soundcloud.com/popular/searches' driver.get(url) time.sleep(3) # 等待异步内容加载,可根据实际网络情况调整 # 定位TOP10艺术家条目,选择器可根据实际页面DOM结构调整 artist_tags = driver.find_elements(By.CSS_SELECTOR, 'a.sc-link-primary.sc-type-h3')[:10] result = [] headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36'} for tag in artist_tags: artist_name = tag.text.strip() artist_url = tag.get_attribute('href') # 获取艺术家页面HTML resp = requests.get(artist_url, headers=headers) if resp.status_code == 200: page_html = resp.text result.append({ '艺术家名称': artist_name, '对应访问链接': artist_url, '链接页面HTML内容': page_html }) time.sleep(1) # 单条请求间隔,避免触发反爬规则 # 生成DataFrame df = pd.DataFrame(result) print(df.head()) # 可按需导出为csv:df.to_csv('soundcloud_top10_artists.csv', index=False) # 关闭浏览器 driver.quit()
注意事项
- 页面元素的类名可能随平台版本更新变化,可通过浏览器F12开发者工具查看实际DOM结构调整定位选择器
- 可根据实际网络情况调整等待时间,确保页面内容完全加载后再提取数据
内容的提问来源于stack exchange,提问作者JoshBob
相关产品推荐
相关产品推荐

