PHP解析含预加载器的未加载HTML：如何获取完整页面内容？

嘿，这个问题我之前也碰到过！你用file_get_contents拿不到完整内容，根本不是超时设置的问题——这类带预加载器的网站，初始返回的HTML只有菜单这类静态部分，真正的核心内容是靠JavaScript动态渲染出来的，而file_get_contents只会抓取浏览器第一次请求到的静态HTML，完全不会触发JS执行，所以超时设得再长也没用。

给你几个可行的解决方案：

• 用无头浏览器模拟真实渲染：这类工具会像真实浏览器一样加载页面、执行所有JS代码，等页面完全渲染完成后再获取完整HTML。PHP里比较方便的是用spatie/browsershot（基于Node.js的Puppeteer）：

  1. 先安装依赖：

     composer require spatie/browsershot
     

     （前提是你已经安装了Node.js和Puppeteer，具体可以看包的官方说明）
  2. 示例代码：

     use Spatie\Browsershot\Browsershot;
     
     // 等待页面网络请求全部完成，确保内容加载完毕
     $stars_list_page = Browsershot::url("https://www.por*pics.com/?q=blue+angel")
         ->waitUntilNetworkIdle()
         ->bodyHtml();
     
     $dom_obj = new DOMDocument();
     // 建议去掉@，这样能看到HTML解析的错误信息，方便调试
     $dom_obj->loadHTML($stars_list_page);
     var_dump($dom_obj);
     

• 直接调用网站的API接口：打开浏览器开发者工具（F12），切换到「Network」标签页，刷新页面后观察XHR/fetch请求，很多网站会通过API异步加载核心内容。如果能找到类似/api/search?q=blue+angel这类返回JSON数据的接口，直接请求它会比渲染页面更高效，用file_get_contents或者curl就能拿到数据，还不用处理HTML解析的问题。

• 小建议：别用@屏蔽错误：你代码里的@$dom_obj->loadHTML()会掩盖HTML解析时的错误，建议去掉这个符号，这样能及时发现并解决解析过程中的问题，调试起来更顺畅。

内容的提问来源于stack exchange，提问作者archara