Angular Universal动态sitemap.xml爬虫识别异常排查

• 核心问题是environment.clientHostName配置不规范：你当前配置的是不带HTTP/HTTPS协议的裸域名，甚至可能多写了重复的.com后缀。手动在浏览器访问sitemap时，浏览器会自动补全缺失的协议，所以看起来展示正常；但爬虫解析XML内容、服务端做路径匹配时，会把不带协议的裸域名识别为当前站点下的相对路径，最终拼接出https://siteurl.com/siteurl.com.com/sitemap.xml这类错误路径。
• 你的sitemap路由没有做路径归一化和canonical标记，爬虫访问带多余路径段的同内容地址时，会被识别为独立的重复页面，触发无canonical标签的报错。

按以下步骤调整即可解决问题：

1. 修正环境变量中的域名配置
   把environment.clientHostName的值改成带完整协议的根域名，不要留裸域名，同时检查删除多余的重复后缀：

   // 错误配置示例
   // clientHostName: 'siteurl.com.com'
   // 正确配置示例
   clientHostName: 'https://siteurl.com'
   

2. 给sitemap路由增加归一化跳转和canonical响应头
   替换原有的sitemap路由注册代码，拦截所有错误路径的sitemap请求，301跳转到标准地址，同时明确告知爬虫当前页面的唯一合法URL：

   server.get('/sitemap.xml', (req, res, next) => {
     // 非标准路径直接301跳转到正确sitemap地址
     if (req.path !== '/sitemap.xml') {
       return res.redirect(301, `${environment.clientHostName}/sitemap.xml`);
     }
     // 增加canonical响应头
     res.set('Link', `<${environment.clientHostName}/sitemap.xml>; rel="canonical"`);
     sitemap(req, res);
   });
   

3. 优化sitemap内的文章URL拼接逻辑
   拼接文章地址时先处理域名末尾的多余斜杠，避免出现双斜杠、相对路径问题：

   // 预处理域名，去掉末尾可能存在的多余斜杠
   const formatBase = environment.clientHostName.replace(/\/+$/, '');
   arraybuffer.data.articles.forEach(item => {
     if (item?.id) {
       const articleFullUrl = `${formatBase}/articles/${item.id}/${item.seoSlug}`;
       urlset += `<url><loc>${articleFullUrl}</loc><lastmod>${item.updatedAt}</lastmod><priority>0.8</priority></url>`
     }
   });
   

4. 可选优化：Node服务端环境不要使用原生XMLHttpRequest发起接口请求，替换为node-fetch或者Angular Universal兼容的HttpClient，避免服务端XHR兼容问题导致sitemap偶发生成失败。

内容的提问来源于stack exchange，提问作者BenNy tHa