通过Traefik代理后Open Graph嵌入功能失效问题求助

核心排查方向 #

直接访问（绕过Traefik）正常但爬虫嵌入失败，且curl返回内容一致，问题大概率出在Traefik对爬虫请求的特殊处理（比如请求头修改、安全头添加、压缩/缓存策略），而非内容本身。以下是针对性解决步骤：

1. 检查并修复响应头限制 #

Discord/Tumblr的嵌入依赖目标页面允许被iframe加载，Traefik默认可能添加了阻止嵌入的安全头：

• 排查是否存在X-Frame-Options: DENY或Content-Security-Policy中包含frame-ancestors 'none'这类规则
• 在Traefik中间件中显式禁用frame限制，或允许对应平台域名：

  # docker-compose.yml 中的Traefik中间件配置
  services:
    traefik:
      # ... 其他配置
      command:
        # ... 其他命令
        - "--providers.docker=true"
        - "--providers.docker.exposedbydefault=false"
        - "--http.middlewares.allow-embedding.headers.frameDeny=false"
        # 若需精细控制，允许Discord/Tumblr域名嵌入
        - "--http.middlewares.allow-embedding.headers.contentSecurityPolicy=frame-ancestors 'self' https://discord.com https://tumblr.com;"
  

  随后在你的网站路由中引用该中间件：

  labels:
    - "traefik.http.routers.your-site.middlewares=allow-embedding@docker"
  

2. 确保请求头完整传递 #

Discord/Tumblr爬虫使用特定User-Agent，Traefik可能误修改或移除了关键请求头：

• 禁用Traefik自动的头修改逻辑，确保所有请求头完整传递到后端服务：

  command:
    - "--http.middlewares.preserve-headers.headers.customRequestHeaders={}"
    - "--http.middlewares.preserve-headers.headers.customResponseHeaders={}"
    - "--http.middlewares.preserve-headers.headers.removeHeaders=[]"
  

  同样在路由中添加该中间件：traefik.http.routers.your-site.middlewares=preserve-headers@docker

3. 临时禁用压缩测试 #

Traefik的gzip/brotli压缩可能与爬虫的解析逻辑冲突：

• 关闭Traefik的全局压缩功能，测试嵌入是否恢复：

  command:
    - "--entrypoints.websecure.http.compress=false"
  

  若恢复正常，可后续针对爬虫UA单独禁用压缩：

  command:
    - "--http.middlewares.no-compress-for-crawlers.headers.regex=User-Agent=^Discordbot|Tumblr"
    - "--http.middlewares.no-compress-for-crawlers.headers.customResponseHeaders=Content-Encoding: identity"
  

4. 调整超时设置 #

爬虫对请求超时敏感，Traefik默认超时可能过短：

• 延长路由和服务的超时时间：

  labels:
    - "traefik.http.routers.your-site.timeout=30s"
    - "traefik.http.services.your-site.loadbalancer.timeout=30s"
  

5. 抓取爬虫请求日志定位问题 #

开启Traefik的详细日志，对比爬虫请求与普通请求的差异：

• 配置日志：

  services:
    traefik:
      # ... 其他配置
      command:
        - "--log.level=DEBUG"
        - "--accesslog.enabled=true"
        - "--accesslog.format=json"
  

• 从日志中筛选UA包含Discordbot或Tumblr的请求，查看响应状态码、头信息是否存在异常（比如重定向次数过多、响应头缺失）

内容的提问来源于stack exchange，提问作者Blanko Chan