sitemap中能否使用块注释？Google爬虫会解析注释内的URL吗？

核心结论 #

• 标准XML格式的<!-- -->块注释是sitemap规范支持的，Google的XML解析器会完全忽略注释块内的所有内容，不会将注释内的<url>标签识别为需要提交的URL，也不会触发额外抓取。
• 代码评审中提到的“注释无效仍会被抓取”的说法，通常针对注释格式错误的场景：如果注释的闭合符写为全角短横、缺省符号导致注释未正常闭合，注释内容就会被识别为正常XML内容，才会出现被误抓取的问题。你示例中的注释结尾使用了––>（两个全角短横），属于错误的闭合格式，正确的XML注释闭合符应为-->,这种错误写法会导致注释未正常关闭，被注释的Pen页面URL会被识别为有效内容。

不推荐使用注释代替直接删除URL的原因 #

• 注释内容会占用sitemap文件体积，sitemap的官方上限为单文件50MB/最多5万条URL，体积计算包含所有注释内容，大量注释会导致sitemap更快触达上限，需要拆分更多文件。
• 存在格式写错导致注释失效的风险，一旦操作失误会导致本应下线的URL被持续提交给搜索引擎，不符合需求预期。
• 若需要保留删除记录，可通过代码版本管理工具留存历史版本，生产环境的sitemap无需保留冗余的注释内容。

规范格式化后的sitemap示例 #

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">  
  <!-- Book -->  
  <url>   
    <loc>http://example.com/Book</loc>    
  </url>    
  <url>      
    <loc>http://example.com/Notebook</loc>    
  </url>    
  <!--    
  <url>      
    <loc>http://example.com/Pen</loc>    
  </url> 
  -->  
</urlset>

内容的提问来源于stack exchange，提问作者Abhijeet Shukla