Google Translate是否导致网站生成大量无效404死链？

问题根源确认 #

你遇到的3000+404死链，确实是Google Translate的嵌入式widget导致的。

Google Translate的element.js脚本会动态引入pako（一个zlib压缩/解压库），这个库的代码中包含lib/utils/common、zlib/deflate、inffast这类字符串。当Googlebot执行页面JS时，会误将这些代码中的字符串识别为相对路径链接，进而发起抓取请求，最终产生大量不存在的URL 404记录。

解决方案 #

• 临时止损：
  1. 在Search Console中，针对包含*lib/utils*、*zlib/deflate*、*inffast*的URL批量提交移除请求，加快无效链接的清理速度。
  2. 在robots.txt中添加规则，禁止爬虫抓取这类无效路径：

     Disallow: /*lib/utils*
     Disallow: /*zlib/deflate*
     Disallow: /*inffast*
     

• 永久修复：
  如果网站仍需要翻译功能，放弃Google Translate的嵌入式widget，改用以下方案：
  • 服务器端预生成多语言内容（更利于SEO）；
  • 使用轻量的前端翻译库（如i18next），自主控制所有链接生成逻辑。
• 快速验证：
  移除Google Translate代码后，用Chrome DevTools的Network面板筛选Document类型请求，确认页面加载时不再出现这类无效路径；或者用Search Console的URL Inspection工具提交页面重新索引，通常几小时内就能看到爬虫是否还会抓取无效链接，无需等待数周。

内容的提问来源于stack exchange，提问作者footstepsdesign