R循环爬取ESPN NFL季后赛数据遇问题:空白HTML与批量生成DataFrame
NFL季后赛球员数据爬取问题
问题1:批量保存HTML页面为空白
尝试通过循环将2002-2021赛季的ESPN NFL季后赛数据页面保存为本地HTML文件,但所有保存的文件打开后均为空白页面。相同代码曾在其他站点成功运行,无法定位问题原因。使用的R代码如下:
#scrape playoff teams for multiple seasons and saved html to local folder for(i in 2002:2021){ playoff_url <- read_html(paste0("https://www.espn.com/nfl/stats/player/_/season/",i,"/seasontype/3")) playoff_stats <- playoff_url %>% write_html(paste0("playoff",i,".HTML")) }
问题2:循环实现多赛季数据爬取并本地存储
目前可实现单赛季数据爬取并转换为DataFrame,但希望通过循环完成2002-2021赛季的批量爬取,避免重复运行20次代码。同时希望避免重复爬取站点数据,数据可合并为一个大DataFrame,或保存为20个独立表格,后续可导出至本地再按需导入。单赛季爬取的R代码如下:
#read in code for playoff QBs from ESPN and added year column playoff_url <- read_html("https://www.espn.com/nfl/stats/player/_/season/2015/seasontype/3") play_QB2015 <-playoff_url %>% html_nodes("table") %>% html_table() #combine list from QB playoff data to convert to dataframe play_QB2015 <- c(play_QB2015[[1]], play_QB2015[[2]]) # Convert list to dataframe using data.frame() play_QB2015 <- data.frame(play_QB2015) play_QB2015$Year = 2015
内容的提问来源于stack exchange,提问作者Darnell
相关产品推荐
相关产品推荐

