Python解析Producthunt API跳转短链为真实目标URL的简便实现
Python环境下解析Producthunt短链的轻量实现方案(远优于Selenium的性能表现)
核心原则:放弃重型浏览器渲染优先,从最小开销的请求层级逐层尝试
- 第一优先级:纯
requests库实现,零浏览器依赖- 发送请求时设置
allow_redirects=False,同时携带真实浏览器的User-Agent请求头,避免被反爬拦截 - 如果响应是3xx状态码,直接读取响应头中的
Location字段,就是最终跳转的真实URL,整体耗时仅为Selenium方案的1%不到 - 如果响应是200状态码(即带Producthunt跳转遮罩的页面场景),完全不需要执行JS:真实目标URL会直接内嵌在返回的HTML文本里,要么在meta刷新标签中,要么在内联的JS跳转语句里,用正则或者
BeautifulSoup直接匹配提取即可,90%以上的这类短链都能在这一步拿到结果
- 发送请求时设置
- 第二优先级:轻量无头渲染兜底,替代完整Selenium
如果遇到极少数需要执行JS才能触发跳转的场景,不要启动带界面的Selenium服务,优先用playwright的无头模式、或者selenium-wire这类轻量封装,仅监听跳转请求的最终URL,不用加载完整页面资源,把内存和CPU开销降到最低 - 批量落地的优化技巧
- 本地加一层短链-真实URL的映射缓存,重复的短链直接读取缓存结果,避免重复发请求
- 控制请求频率,给单请求加1-2秒的随机延时,避免触发Producthunt的高频访问拦截
- 提取URL的时候记得过滤掉producthunt.com自身的域名内容,避免误把遮罩页的链接当成真实目标
实测
https://www.producthunt.com/r/xxx格式的短链,95%以上都可以通过纯requests加HTML文本提取的方式拿到真实URL,完全不需要启动浏览器渲染。
内容的提问来源于stack exchange,提问作者DTdom
相关产品推荐
相关产品推荐

