Python Tumblr爬虫替换链接500w标识及去除列表括号问题求解
问题分析与代码修正方案
现存问题点
- 你将
url_list列表直接追加到urls数组中,导致urls内部元素是嵌套列表结构,对列表执行字符串replace()方法完全无效,且异常被外层try except捕获直接跳过 - Python字符串
replace()方法会返回新字符串,不会修改原字符串,你没有接收返回值,修改逻辑本身就不会生效 - 打印
results的位置在循环外部,只会输出最后一次循环的结果,且打印的是未处理的列表,所以输出内容自带[]包裹
修正后完整代码
import requests from bs4 import BeautifulSoup search_term = 'landscape' posts_scrape = requests.get(f'https://www.tumblr.com/search/{search_term}') soup = BeautifulSoup(posts_scrape.text, 'html.parser') articles = soup.find_all('article', class_='_2DpMA') for article in articles: try: source = article.find('div', class_='_3QBiZ').text urls = [] for imgvar in article.find_all('img', alt='Image'): # 遍历srcset所有条目匹配500w规格 for src_item in imgvar['srcset'].split(','): if '500w' in src_item: # 拆分链接与宽度标识,直接取纯净链接 pure_url = src_item.strip().split()[0] urls.append(pure_url) # 按预期格式输出 print(source) for url in urls: print(url) except AttributeError: continue
关键修改说明
- 提取500w规格链接时,直接对匹配到的src条目做拆分,
strip()先去掉首尾空格,再用split()按空白符拆分,取第一个元素就是无多余字符的纯净图片链接,无需额外做replace操作 - 直接将处理好的字符串链接存入
urls数组,没有嵌套列表结构,输出不会自带[] - 输出时遍历
urls数组逐行打印,完全匹配预期的输出格式
内容的提问来源于stack exchange,提问作者victorsionado
相关产品推荐
相关产品推荐

