You need to enable JavaScript to run this app. 如何抓取SoundCloud热门搜索TOP10艺术家并生成指定列DataFrame
优惠活动
大模型
产品
解决方案
定价
更多

如何抓取SoundCloud热门搜索TOP10艺术家并生成指定列DataFrame

问题分析
  • 静态请求无法获取动态内容:SoundCloud热门搜索页面的艺术家列表是前端异步渲染生成的,直接通过urlopen请求得到的静态HTML仅包含页面基础框架,没有你需要的艺术家数据,你拿到的第一个a标签是网站首页入口,所以输出为SoundCloud。
  • 元素定位逻辑错误:原代码仅匹配页面第一个带href属性的a标签,完全没有定位到艺术家列表的对应DOM节点,自然无法拿到目标数据。
调整方案

1. 改用无头浏览器获取渲染后页面

使用playwright或selenium等工具获取页面完全渲染后的DOM内容,才能拿到异步加载的TOP10艺术家数据。

2. 修正元素定位逻辑

渲染完成后,定位热门搜索模块下的艺术家条目,提取对应名称和个人页链接。

3. 批量获取艺术家页面HTML

拿到10条链接后,逐个发起请求获取页面HTML,请求时携带标准请求头避免被反爬拦截。

4. 组装生成DataFrame

将收集到的三个字段数据转为pandas DataFrame格式。

示例修改代码
import pandas as pd
import requests
from bs4 import BeautifulSoup
from selenium import webdriver
from selenium.webdriver.common.by import By
import time

# 配置浏览器(Chrome为例,需提前对应安装浏览器驱动)
options = webdriver.ChromeOptions()
options.add_argument('--headless=new') # 无头模式,不弹出浏览器窗口
options.add_argument('user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36')
driver = webdriver.Chrome(options=options)

# 访问目标页面,等待渲染完成
url = 'https://soundcloud.com/popular/searches'
driver.get(url)
time.sleep(3) # 等待异步内容加载,可根据实际网络情况调整

# 定位TOP10艺术家条目,选择器可根据实际页面DOM结构调整
artist_tags = driver.find_elements(By.CSS_SELECTOR, 'a.sc-link-primary.sc-type-h3')[:10]

result = []
headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36'}

for tag in artist_tags:
    artist_name = tag.text.strip()
    artist_url = tag.get_attribute('href')
    # 获取艺术家页面HTML
    resp = requests.get(artist_url, headers=headers)
    if resp.status_code == 200:
        page_html = resp.text
        result.append({
            '艺术家名称': artist_name,
            '对应访问链接': artist_url,
            '链接页面HTML内容': page_html
        })
    time.sleep(1) # 单条请求间隔,避免触发反爬规则

# 生成DataFrame
df = pd.DataFrame(result)
print(df.head())
# 可按需导出为csv:df.to_csv('soundcloud_top10_artists.csv', index=False)

# 关闭浏览器
driver.quit()
注意事项
  • 页面元素的类名可能随平台版本更新变化,可通过浏览器F12开发者工具查看实际DOM结构调整定位选择器
  • 可根据实际网络情况调整等待时间,确保页面内容完全加载后再提取数据

内容的提问来源于stack exchange,提问作者JoshBob

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.19 08:45:08