如何向其他网站页面发起请求获取.length值并导入到自有网站展示

首先明确：你最初想直接在前端请求第三方页面解析DOM的思路无法直接实现，浏览器同源策略会拦截跨域的第三方页面请求，你没办法直接在用户浏览器侧拿到第三方站点的DOM内容，必须通过服务端中转实现，具体可选方案如下：

方案1：自建服务端定时同步（稳定性最高） #

• 编写后端定时任务，可选技术栈：Python（搭配requests+BeautifulSoup）、Node.js（搭配axios+cheerio）、PHP等，按你需要的更新频率（建议最低15分钟以上，避免被反爬）定时请求第三方站点页面
• 解析返回的HTML内容，定位到评论节点后用.length拿到评论总数，将数值存储到你自己的数据库或者Redis这类KV存储中
• 自有网页前端调用你自己的后端接口拉取这个数值展示，还可以给前端加个定时轮询逻辑，比如每5分钟请求一次自己的接口，实现用户打开页面期间的自动更新
• 优势：不受跨域限制，解析逻辑在服务端不会暴露，遇到反爬时可以灵活配置UA、请求代理、cookie等参数适配

方案2：Serverless无服务函数实现（低成本免运维） #

• 如果你没有自己的服务器，可以用云厂商的无服务函数产品实现和方案1完全一致的逻辑
• 配置定时触发器自动执行爬取逻辑，把拿到的评论数存在云厂商的内置存储里，前端直接请求云函数的公开接口获取数值即可
• 优势：不用搭建维护服务器，调用量低的情况下基本零成本

方案3：调用第三方公开API（适配性最高） #

• 优先确认第三方站点是否提供公开的评论数查询接口，如果有官方接口直接调用即可，不需要解析DOM，不会因为第三方调整页面结构导致获取失败
• 依然建议通过你自己的后端/无服务函数中转请求，避免把接口参数、密钥等敏感信息暴露在前端

注意事项 #

• 依赖DOM解析的方案要做好异常监控，第三方站点调整页面DOM结构后需要同步更新你的节点定位逻辑
• 控制好爬取频率，不要对第三方站点造成不必要的访问压力，也能降低被反爬拦截的概率
• 如果第三方站点的robots协议明确禁止爬取相关页面，建议先联系第三方获取官方授权后再实现

内容的提问来源于stack exchange，提问作者nezza1