Django配置Google AdMob app-ads.txt的URL兼容及爬取问题

已完成的配置 #

views.py #

@require_GET
def ads_txt(request):
    content = 'google.com, pub-*****************, DIRECT, ************'
    return HttpResponse(content, content_type="text/plain")

urls.py #

from django.urls import path
from .views import ads_txt

urlpatterns = [
    path('app-ads.txt', ads_txt),
]

遇到的问题 #

访问不带尾斜杠的URL（https://www.example.com/app-ads.txt）时视图正常响应，但访问带尾斜杠的URL（https://www.example.com/app-ads.txt/）会返回404错误。

1. 兼容两种URL格式的配置，以及官方推荐格式 #

要同时支持带斜杠和不带斜杠的URL，有两种简单方法：

• 添加双路径规则：直接在urls.py里加两条路径，分别对应带斜杠和不带斜杠的情况：

  urlpatterns = [
      path('app-ads.txt', ads_txt),
      path('app-ads.txt/', ads_txt),
  ]
  

• 用正则匹配两种情况：借助re_path写正则表达式，匹配有无尾斜杠的场景：

  from django.urls import re_path
  
  urlpatterns = [
      re_path(r'^app-ads.txt/?$', ads_txt),
  ]
  

根据AdMob的官方规范，优先用无尾斜杠的格式（app-ads.txt），这是爬虫默认请求的标准路径，同时兼容两种格式能避免不必要的404报错。

2. 确保Google爬虫识别正确URL的操作 #

• 配置Nginx 301重定向：把带尾斜杠的URL永久重定向到无尾斜杠版本，让爬虫自动更新索引路径。Nginx配置示例：

  location = /app-ads.txt/ {
      return 301 $scheme://$host/app-ads.txt;
  }
  

• 在Google Search Console提交URL：验证你的域名后，直接提交app-ads.txt的正确路径，触发爬虫主动抓取更新。
• 等待爬虫定期抓取：Google爬虫会周期性扫描站点，只要重定向或兼容规则配置正确，一段时间后会自动识别并更新正确的URL。

3. 检查Google控制台与App Store的必填字段 #

Google AdMob控制台

• 进入应用的设置页面，确认网站URL填写了你的域名（如https://www.example.com），这个域名必须能正常访问app-ads.txt。
• 检查账户的付款信息是否完成验证，未验证可能影响爬虫对广告配置的识别。
• 在应用的报告模块查看app-ads.txt状态，显示“已找到”即为配置正常，有错误会给出具体提示。

App Store Connect

• 打开应用的App信息页面，在支持URL或营销URL中填写包含app-ads.txt的域名（无需直接填文件路径，只要域名正确即可）。
• 若填写了隐私政策URL，确保它和你的广告域名属于同一主体，避免跨域问题降低爬虫信任度。
• 核对应用的SKU和Bundle ID，必须和AdMob控制台中添加的应用信息完全一致，这是关联应用与广告配置的核心。

内容的提问来源于stack exchange，提问作者A_K