如何阻止除自身IP外的所有IP访问我的预发布站点？

首先明确：robots.txt的规则只对搜索引擎爬虫生效，完全无法阻止普通用户或非爬虫访问站点，这就是你之前设置后站点仍能被访问的核心原因。要实现仅自己IP可访问的需求，需要通过服务器层面的配置来限制，以下是主流服务器的具体实现方法：

Apache 服务器配置 #

在站点根目录的.htaccess文件，或者服务器主配置文件中添加规则：

适用于 Apache 2.2 及旧版本 #

Order Deny,Allow
Deny from all
Allow from 你的公网IP地址
# 若需允许多个IP，继续添加 Allow from 另一IP地址

适用于 Apache 2.4 及新版本 #

Require all denied
Require ip 你的公网IP地址

Nginx 服务器配置 #

在站点的Nginx配置文件（通常位于/etc/nginx/sites-available/目录下）的server块内添加：

location / {
    deny all;
    allow 你的公网IP地址;
    # 多IP需求可继续添加 allow 另一IP地址;
}

修改完成后执行nginx -s reload命令重启Nginx使配置生效。

额外注意事项 #

• 务必使用公网IP：可通过终端执行curl ifconfig.me查询，不要使用内网IP（如192.168.x.x这类）。
• 若站点使用CDN：需在CDN后台同步配置IP白名单，否则CDN会绕过服务器的IP限制直接返回内容。
• 验证配置：切换到非当前网络（比如手机流量）尝试访问站点，正常情况下会显示403禁止访问页面。

内容的提问来源于stack exchange，提问作者David Beeson