如何使用Python的BeautifulSoup循环提取文章中的指定内容行
错误原因说明
你修改后的代码vid_src = article.find('iframe', class_='youtube-player')['src'][1]无法正常运行的核心问题是:find()方法只会返回匹配到的第一个iframe元素,调取['src']属性得到的是单个URL字符串,对字符串加[1]索引只会取到这个字符串的第二个字符,和你想提取多条内容的需求完全不匹配。
对应实现方案
根据你描述的需求,分两种常见场景给出可直接运行的代码:
场景1:提取单篇文章内所有YouTube视频链接
如果单篇文章存在多个嵌入的YouTube iframe,你可以用find_all()匹配所有符合条件的iframe,再循环处理每一个的src属性:
from bs4 import BeautifulSoup import requests source = requests.get('http://coreyms.com').text soup = BeautifulSoup(source, 'lxml') for article in soup.find_all('article'): headline = article.h2.a.text print(headline) summary = article.find('div', class_='entry-content').p.text print(summary) yt_links = [] try: # 匹配当前文章所有youtube-player类的iframe vid_iframes = article.find_all('iframe', class_='youtube-player') for vid_iframe in vid_iframes: vid_src = vid_iframe['src'] vid_id = vid_src.split('/')[4].split('?')[0] yt_links.append(f'https://youtube.com/watch?v={vid_id}') except Exception as e: pass # 打印当前文章所有提取到的视频链接 for link in yt_links: print(link) print()
场景2:提取文章正文内的指定行内容
如果你需要提取正文固定位置的段落,先把正文所有段落都提取为列表,再按索引取对应位置的内容即可:
for article in soup.find_all('article'): headline = article.h2.a.text print(headline) # 提取正文所有p标签内容 content_paras = article.find('div', class_='entry-content').find_all('p') # 比如取第2段内容(索引从0开始计数,第1段是索引0,第2段是索引1) if len(content_paras) >= 2: target_line = content_paras[1].text print("指定行内容:", target_line) print()
内容的提问来源于stack exchange,提问作者Marvel
相关产品推荐
相关产品推荐

