如何仅用rvest爬取Unicorn Auctions网站的动态拍卖日期数据?
用rvest获取Unicorn Auctions拍卖日期的可行思路
- 先确认日期的加载逻辑:直接用
rvest::read_html()拉取页面源码,搜索你要的日期文本。如果能搜到,说明是静态渲染只是你选器没写对;搜不到就是JS动态加载的,得从数据源下手。 - 挖页面里的隐藏数据:很多动态网站会把所有需要渲染的数据打包在
<script>标签里(比如写成全局JSON变量)。用html_elements("script")把所有脚本抓出来,用正则匹配出包含拍卖时间的那段JSON,再用jsonlite::fromJSON()转成可处理的格式,就能拿到日期。 - 模拟AJAX请求拿数据:打开浏览器F12的“网络”面板,刷新页面时找加载拍卖详情的API接口(一般是XHR类型请求),然后用
httr包模拟这个请求,解析返回的JSON,再和你用rvest拿到的标题、URL对应上。 - 检查选择器的准确性:如果日期就在页面节点里,那可能是你用的CSS类不对。试试先找到包含标题和日期的整个拍卖卡片节点
html_elements(".auction-card"),再对每个卡片分别提取标题、URL和日期,这样不容易出错。
小技巧:可以用
html_structure()查看页面的节点层级,确认日期所在的标签位置,避免选择器定位偏差。
内容的提问来源于stack exchange,提问作者João Paiva
相关产品推荐
相关产品推荐

