NGINX配置爬虫请求转发至PHP服务报错排查

问题根源 #

你遇到的Nginx启动报错invalid URL prefix，核心原因是**proxy_pass指令不能用来指向Nginx内部的命名location（比如@crawler）**。proxy_pass的作用是将请求代理到外部HTTP/HTTPS服务器，而@crawler是用于FastCGI处理PHP的内部location块，两者的使用场景完全不兼容。

修复后的Nginx配置 #

调整配置逻辑，直接将爬虫请求转发到你的crawler.php脚本，替代原来错误的proxy_pass用法：

server {
    server_name example.com www.example.com;
    root /var/www/example;
    index index.html;
    listen 80;

    location / {
        # 标记是否为爬虫请求
        set $is_crawler 0;
        if ($http_user_agent ~* "linkedinbot|googlebot|yahoo|bingbot|baiduspider|yandex|yeti|yodaobot|gigabot|ia_archiver|facebookexternalhit|twitterbot|developers\.google\.com") {
            set $is_crawler 1;
        }

        # 爬虫请求直接转发到crawler.php
        if ($is_crawler = 1) {
            rewrite ^ /crawler.php last;
        }

        # 普通请求走React客户端渲染逻辑
        try_files $uri /index.html;
    }

    # 统一处理PHP脚本的FastCGI配置
    location ~ \.php$ {
        fastcgi_pass unix:/run/php/php7.0-fpm.sock;
        fastcgi_index index.php;
        fastcgi_param SCRIPT_FILENAME $document_root$fastcgi_script_name;
        include fastcgi_params;
    }
}

配置说明 #

1. 用set和if组合标记爬虫请求，再通过rewrite将请求导向crawler.php，逻辑更清晰且符合Nginx语法规范
2. 单独的location ~ \.php$块统一处理所有PHP脚本的FastCGI转发，替代原来的命名location，避免语法冲突
3. 普通用户请求依然正常走React的index.html，完全不影响客户端渲染的原有逻辑

PHP脚本的潜在问题修复 #

你的PHP脚本还有几个细节问题需要调整，避免运行出错：

• $_SERVER[REQUEST_URI]缺少引号，应改为$_SERVER['REQUEST_URI']
• makePage函数内的$uri变量未定义，需作为参数传入：

  return makePage($data, $uri);
  
  function makePage($data, $uri) {
      $pageUrl = "https://example.com" . $uri;
      // ... 其余代码保持不变
  }
  

• json_decode默认返回对象，若要合并数组，建议添加第二个参数true转为关联数组：

  $defaultData = json_decode(file_get_contents("./meta/default.json"), true);
  $contentData = $contents ? json_decode($contents, true) : [];
  $data = array_merge($defaultData, $contentData);
  

• 确保/var/www/example/meta目录存在且PHP进程有权限读取该目录下的JSON文件

内容的提问来源于stack exchange，提问作者Michael Smith