移动端站点将Google爬虫识别为桌面设备跳转，可否通过sitemap/robots.txt设置移动索引？

核心结论 #

无法仅通过sitemap或robots.txt配置实现你需要的移动端索引规则，二者都没有权限干预Googlebot抓取时的服务端重定向逻辑，没法解决当前的收录障碍。

原因说明 #

• robots.txt仅能定义爬虫的允许/禁止抓取路径范围，完全不具备设备识别、重定向规则配置、索引类型指定的能力。哪怕你在robots.txt中放开了所有m站路径的抓取权限，Googlebot发起访问时依然会被你的服务端判定为桌面设备触发重定向，robots.txt无法阻断这个逻辑。
• sitemap仅能向Google提交你期望被收录的URL清单，哪怕是标注了移动端适配属性的sitemap，也只能作为抓取优先级的参考，无法覆盖爬虫实际请求URL时的服务端返回结果。Googlebot按照sitemap中的m站URL发起请求后被重定向到桌面站，会直接判定m站URL为无效跳转地址，不会收录对应的移动端内容。

可行解决方案 #

• 优先修正服务端的UA识别逻辑：Google移动端爬虫的UA标识包含Mobile、Android、iPhone等关键词，你需要调整服务端的设备判定规则，将携带这类UA的请求判定为移动端设备，不触发重定向，直接返回对应m站内容即可。
• 补充适配标注提升索引准确率：可以在桌面站页面头部添加<link rel="alternate" media="only screen and (max-width: 640px)" href="https://m.xxxx.xxx.com/对应页面路径">，在对应移动端页面头部添加<link rel="canonical" href="https://桌面站对应页面路径">，帮助Google更准确识别两端页面的对应关系。
• 效果验证：使用Google Search Console的URL检测工具，选择移动端爬虫视角发起实时URL测试，确认返回状态码为200、返回内容为移动端页面内容即可。

内容的提问来源于stack exchange，提问作者oded