咨询.htaccess分页爬虫规则正确性：仅引导搜索引擎索引主页面

嘿，咱先拆解下你的需求核心：只让搜索引擎爬虫访问带?page=参数的URL时跳转到对应主页面，普通用户完全不受影响，同时确保主页面被索引。但你当前的代码有几个关键问题，完全达不到这个效果：

现有代码的核心问题 #

• 不分用户/爬虫，强制所有人重定向：你的两条RewriteRule是对所有访问者（包括普通用户）直接返回301重定向，这直接违反了“不重定向普通用户”的需求。
• 规则写法错误，根本匹配不到目标URL：RewriteRule的匹配模式默认只针对URL的路径部分（也就是?之前的内容），而?page=属于查询字符串，所以你写的^(.*)/?page=(.*)和^(.*)?page=(.*)根本不会匹配到任何带?page=的请求，等于这两条规则完全无效。
• 语法错误：RewriteCond %{HTTP_HOST}!^www\.这里少了空格，应该是RewriteCond %{HTTP_HOST} !^www\.，这个错误会导致你的www跳转规则直接失效。

符合需求的修正方案 #

要实现你的需求，关键是只针对搜索引擎爬虫做处理，同时正确匹配查询字符串里的page参数。下面是修正后的完整.htaccess代码，我会逐段解释：

<IfModule mod_rewrite.c>
    RewriteEngine On
    RewriteBase /

    # 1. WWW跳转（修复了原代码的空格错误）
    RewriteCond %{HTTP_HOST} !^www\. [NC]
    RewriteRule ^(.*)$ http://www.%{HTTP_HOST}/$1 [R=301,L]

    # 2. 仅对搜索引擎爬虫，重定向带?page=的URL到对应主页面
    # 匹配常见搜索引擎爬虫的User-Agent（可根据需要补充更多）
    RewriteCond %{HTTP_USER_AGENT} (googlebot|bingbot|slurp|duckduckbot|baiduspider|yandexbot) [NC]
    # 检测查询字符串中是否包含page参数
    RewriteCond %{QUERY_STRING} (^|&)page=[0-9]+(&|$) [NC]
    # 重定向到去掉查询字符串的主页面（R=301告诉搜索引擎这是永久跳转）
    RewriteRule ^(.*)$ /$1? [R=301,L]

    # 3. 你的原有伪静态规则（保持不变）
    RewriteRule ^([A-Za-z]+)/([0-9]+)/([\w-]+)/?$ view.php?cat=$1&idp=$2&post=$3&%{QUERY_STRING} [NC,L]
    RewriteRule ^category/([\w-]+)/?$ category.php?cat=$1&%{QUERY_STRING} [NC,L]

    # 4. 去掉URL中的.php后缀（原有规则，保持不变）
    RewriteCond %{THE_REQUEST} ^[A-Z]{3,}\s/+(.+?)\.php[\s?] [NC]
    RewriteRule ^ /%1 [R=301,L,NE]
    RewriteCond %{REQUEST_FILENAME} !-d
    RewriteCond %{REQUEST_FILENAME}.php -f
    RewriteRule ^(.+?)/?$ $1.php [QSA,NC,L]
</IfModule>

ErrorDocument 404 /404.php
Options -Indexes

关键部分解释 #

1. 爬虫识别：通过RewriteCond %{HTTP_USER_AGENT}匹配常见的搜索引擎爬虫UA，只有这些爬虫访问带?page=的URL时才会触发重定向，普通用户的请求会直接跳过这部分规则。
2. 查询字符串匹配：用%{QUERY_STRING}检测是否存在page参数，不管page是在查询字符串开头、中间还是结尾都能匹配到。
3. 重定向到主页面：RewriteRule ^(.*)$ /$1?中的?会清空查询字符串，确保跳转到不带任何参数的主页面。
4. 修复了原代码的语法错误：补上了HTTP_HOST后面的空格，确保www跳转规则正常生效。

额外建议 #

• 如果想更严谨，你可以在robots.txt中添加Disallow: /*?page=，和.htaccess规则配合，双重确保搜索引擎不索引带page参数的URL。
• 注意：User-Agent可以被伪造，但这是行业内针对爬虫处理的通用做法，足够满足你的需求。

内容的提问来源于stack exchange，提问作者jazuly aja