Shopify店铺Robots.txt禁止所有抓取,如何设置Allow规则恢复允许?
Shopify设置Allow规则恢复正常抓取的操作方法
你当前的robots.txt应该配置了全局禁止规则User-agent: * Disallow: /,按照以下步骤修改即可恢复正常抓取权限:
- 进入Shopify后台,依次点击「在线商店」→「主题」,找到你当前正在使用的主题,点击主题右侧的三个点更多按钮,选择「编辑代码」
- 在左侧代码文件列表的「布局」分类下查找
robots.txt.liquid文件,若没有该文件就手动创建:点击「添加新模板」,模板类型选择robots.txt,模板后缀选择liquid即可 - 清空文件内原有的禁止抓取规则,替换为以下标准的Shopify robots规则:
User-agent: * # 允许所有路径抓取 Allow: / # 禁止无关后台、交易类路径抓取 Disallow: /admin/ Disallow: /cart/ Disallow: /checkout/ Disallow: /orders/ Disallow: /search/ Disallow: /account/ Disallow: /*?*oseid=* Disallow: /*?preview_theme_id=* Disallow: /*?preview_script_id=* # 提交站点地图指引爬取 Sitemap: {{ shop.url }}/sitemap.xml
- 点击右上角「保存」,规则会立即生效,你可以直接访问
你的店铺域名/robots.txt校验规则是否配置正确。
额外提示:如果你的店铺之前开启了上线前的密码保护功能,需要先关闭密码保护,否则搜索引擎依旧无法正常抓取站点内容。规则生效后可以到对应搜索引擎的站长平台提交新的robots.txt文件,加快收录恢复速度。
内容的提问来源于stack exchange,提问作者Entrepreneur lifestyle
相关产品推荐
相关产品推荐

