PHP file_get_contents返回特殊字符，无法提取网页元数据求助

核心原因 #

• Gzip压缩未处理：目标网站对部分请求返回了gzip压缩后的二进制内容，file_get_contents默认不会自动解压，所以你看到的是乱码。而浏览器会自动识别并处理gzip解压，因此能正常显示页面。
• 请求头差异：file_get_contents默认发送的请求头（如User-Agent、Accept-Encoding）和浏览器不同，网站会根据请求头返回不同格式的响应，部分页面仅对符合浏览器特征的请求返回正常HTML。
• 反爬机制触发：同一网站的部分页面可能启用了简单反爬逻辑，识别到非浏览器请求后返回异常内容。

解决方法 #

1. 手动处理gzip解压 #

先判断响应是否为gzip压缩格式，再进行解压：

$url = "https://www.example.com/blog-1";
// 设置请求头，告知服务器接受gzip压缩
$context = stream_context_create([
    'http' => [
        'header' => "Accept-Encoding: gzip\r\n"
    ]
]);
$html = file_get_contents($url, false, $context);

// 检查响应头，判断是否需要解压
$headers = get_headers($url, 1);
if (isset($headers['Content-Encoding']) && $headers['Content-Encoding'] === 'gzip') {
    $html = gzdecode($html);
}

$crawler = new Crawler($html);
$description = $crawler->filterXPath("//meta[@name='description']")->extract(['content']);

2. 模拟浏览器请求头 #

添加浏览器常用的请求头，让网站识别为正常访问：

$url = "https://www.example.com/blog-1";
$context = stream_context_create([
    'http' => [
        'header' => implode("\r\n", [
            'User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36',
            'Accept-Encoding: gzip, deflate',
            'Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8'
        ])
    ]
]);
$html = file_get_contents($url, false, $context);

// 通过文件头判断是否为gzip压缩
if (strpos($html, "\x1f\x8b\x08") === 0) {
    $html = gzdecode($html);
}

$crawler = new Crawler($html);
$description = $crawler->filterXPath("//meta[@name='description']")->extract(['content']);

3. 使用更可靠的HTTP客户端 #

推荐使用Guzzle，它会自动处理压缩、请求头管理等问题，比file_get_contents更稳定：

use GuzzleHttp\Client;

$client = new Client();
$response = $client->get("https://www.example.com/blog-1", [
    'headers' => [
        'User-Agent' => 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36'
    ]
]);
$html = $response->getBody()->getContents();

$crawler = new Crawler($html);
$description = $crawler->filterXPath("//meta[@name='description']")->extract(['content']);

内容的提问来源于stack exchange，提问作者Ibrahim EL-Sanosi