为什么Google无法识别我用PHP生成并经.htaccess重写的sitemap.xml文件？

• 检查响应头Content-Type是否正确：XML站点地图要求返回Content-Type: application/xml，如果PHP脚本默认返回text/html类型，Google爬虫会直接判定格式无效。你可以通过浏览器开发者工具的网络面板访问sitemap地址，查看响应头信息确认。
• 检查XML语法合法性：手写PHP生成sitemap很容易出现特殊字符未转义的问题，比如URL中的&、<、>符号，或者中文未做UTF-8编码；也可能缺少标准XML头部<?xml version="1.0" encoding="UTF-8"?>，或者根节点没有添加Google要求的官方命名空间属性xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"，都会导致格式校验不通过。
• 检查.htaccess重写规则是否正常：如果重写规则存在UA过滤、权限限制，或者重写后返回的HTTP状态码不是200，而是3xx跳转、4xx/5xx错误，都会导致Google加载失败。你可以直接用Google Search Console自带的URL检测工具爬取该sitemap地址，查看返回的状态码和内容是否符合预期。
• 检查robots.txt规则限制：确认站点的robots.txt没有Disallow规则禁止Google爬虫访问/feed/sitemap/路径，否则爬虫无法拉取sitemap内容。
• 检查sitemap大小和URL数量是否超限：单份sitemap的URL数量不能超过5万，未压缩文件大小不能超过50MB，超过阈值需要拆分为多份子sitemap并生成对应的sitemap索引文件。
• 检查域名一致性：sitemap中提交的URL域名前缀，必须和你在Search Console中验证的域名完全一致，包括http/https、www/非www的前缀匹配，否则Google会直接拒绝收录。

你可以直接按照官方schema实现生成逻辑，以下是最简可用的实现代码：

<?php
// 强制设置XML响应头，避免被识别为HTML
header('Content-Type: application/xml; charset=utf-8');
// 输出XML声明和带官方命名空间的根节点
echo '<?xml version="1.0" encoding="UTF-8"?>';
echo '<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">';

// 替换为你自己站点的URL数据，可从数据库、路由配置中批量拉取
$urlList = [
    ['loc' => 'https://www.densediscovery.com/', 'lastmod' => '2024-05-20', 'changefreq' => 'daily', 'priority' => '1.0'],
    // 按相同格式追加其他URL条目
];

foreach ($urlList as $item) {
    echo '<url>';
    // 必须转义URL中的特殊字符，避免XML语法错误
    echo '<loc>' . htmlspecialchars($item['loc'], ENT_XML1, 'UTF-8') . '</loc>';
    if (!empty($item['lastmod'])) {
        echo '<lastmod>' . $item['lastmod'] . '</lastmod>';
    }
    if (!empty($item['changefreq'])) {
        echo '<changefreq>' . $item['changefreq'] . '</changefreq>';
    }
    if (!empty($item['priority'])) {
        echo '<priority>' . $item['priority'] . '</priority>';
    }
    echo '</url>';
}

echo '</urlset>';
exit;
?>

• 如果是大型站点，可分批拉取数据生成多份子sitemap，再生成sitemap索引文件指向所有子sitemap，索引文件的根节点使用sitemapindex标签即可，命名空间规则和普通sitemap一致。
• 生成完成后可以先本地用XML校验工具检查语法合法性，再通过Google Search Console的URL检测工具验证可爬性，确认无误后再提交。

内容的提问来源于stack exchange，提问作者Kai