robots.txt中*通配符用法及规则有效性排查，Googlebot 2归属确认

一、你的robots.txt规则问题 #

当前规则存在两处不规范的地方：

• Allow: .htm$ 写法缺失路径前缀，应该改为 Allow: /*.htm$，否则无法正确匹配所有以.htm结尾的页面（比如/page.htm这类完整路径）。
• Disallow: /mls.php?* 属于冗余规则，因为Disallow: /*?*已经覆盖了所有带查询参数的URL，包括mls.php带参数的情况，保留其中一条即可。

修正后的规则示例：

User-agent: *
Allow: /*.htm$
Disallow: /*?*

补充说明：robots.txt采用最长前缀匹配原则，爬虫会优先遵循匹配长度最长的规则；Googlebot完全支持*（通配任意字符）和$（匹配URL结尾）这两个通配符。

二、关于"Googlebot 2"的身份 #

谷歌官方不存在名为"Googlebot 2"的爬虫。谷歌官方爬虫的标准标识是Googlebot，细分类型包括Googlebot-Image（图片爬虫）、Googlebot-Mobile（移动爬虫）等，但不会带有"2"后缀。

你日志里的"Googlebot 2"大概率是伪装成谷歌爬虫的第三方抓取工具，这类工具通常不会遵守robots.txt规则。可以通过反向IP查询、验证IP是否属于谷歌官方IP段来进一步确认。

内容的提问来源于stack exchange，提问作者John Wu