如何用.htaccess为爬虫配置create-react-app博客预渲染代理？

我来帮你搞定这个.htaccess配置，刚好能实现你要的普通用户正常访问、爬虫跳转到预渲染服务的需求。下面是完整的配置代码，我会逐行给你拆解每部分的作用：

RewriteEngine on

# 不对实际存在的文件或目录进行重写
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d

# 匹配主流爬虫的User-Agent（覆盖Google、Facebook等）
RewriteCond %{HTTP_USER_AGENT} (googlebot|bingbot|slurp|duckduckbot|facebookexternalhit|twitterbot|linkedinbot|embedly|quora\ link\ preview|showyoubot|outbrain|pinterest\/0\.|pinterestbot|slackbot|vkShare|W3C_Validator) [NC]

# 将爬虫请求重定向到预渲染服务，保留原路径和查询参数
RewriteRule ^(.*)$ http://myprerenderer.com/render/http://example.com/$1?%{QUERY_STRING} [L,R=302]

规则详解： #

• RewriteEngine on：开启Apache的URL重写功能，这是所有重写规则生效的前提。
• 前两条RewriteCond：排除掉真实存在的文件（比如图片、CSS、JS等静态资源）和目录，确保只有访问页面路由时才触发重写，避免静态资源被错误转发到预渲染服务。
• RewriteCond %{HTTP_USER_AGENT} ...：通过请求头里的User-Agent识别爬虫，这里列出了Google、Facebook、Bing等主流搜索引擎和社交平台的爬虫标识，[NC]表示忽略大小写，避免因为User-Agent的大小写差异导致匹配失败。你可以根据需要添加更多爬虫的标识。
• RewriteRule：核心重写逻辑，把用户请求的路径（$1对应^(.*)$捕获的内容）拼接到预渲染服务的地址后，同时保留原请求的查询参数（%{QUERY_STRING}）。[L,R=302]表示这是最后一条规则（L），并返回302临时重定向；如果确认规则没问题后想改成永久重定向，可以把R=302换成R=301。

可选优化（反向代理模式）： #

如果你的服务器开启了mod_proxy和mod_proxy_http模块，也可以用反向代理的方式，这样爬虫看到的URL还是原地址，不会有跳转行为。对应的规则可以改成：

RewriteRule ^(.*)$ http://myprerenderer.com/render/http://example.com/$1?%{QUERY_STRING} [L,P]

不过这种方式需要服务器配置支持，如果你不确定的话，先用302重定向的方式更稳妥。

内容的提问来源于stack exchange，提问作者Andre Zimpel