Google、Bing等搜索引擎如何对Blazor站点进行爬取索引？

无论Blazor Server还是WebAssembly（WASM）默认都采用客户端渲染逻辑，爬虫请求站点时只能拿到初始的加载外壳，无法识别.razor文件动态生成的内容，可通过以下配置实现搜索引擎正常抓取索引：

1. 优先开启服务端渲染（SSR）或预渲染 #

• .NET 6及以上版本推荐使用Blazor Web App模板，可配置全局SSR或者仅针对公开详情页开启SSR模式，页面请求时服务端会直接生成包含完整动态内容的HTML返回，爬虫无需执行JS即可拿到全部页面内容
• 针对独立WASM项目，可在宿主服务的Program.cs中开启组件预渲染支持，对所有公开访问的详情页提前生成静态HTML快照
• 仅内部访问、需要登录鉴权的私密页面无需配置SSR/预渲染，可直接在robots.txt中屏蔽抓取

2. 动态配置页面头信息 #

所有动态详情页需根据当前内容实时更新标题、描述等Meta标签，使用Blazor内置的PageTitle、HeadContent组件即可实现，示例代码如下：

<!-- 详情页.razor文件内添加以下代码 -->
<PageTitle>@currentArticle.Title - 你的站点名称</PageTitle>
<HeadContent>
    <meta name="description" content="@currentArticle.Abstract">
    <meta property="og:title" content="@currentArticle.Title">
    <meta property="og:description" content="@currentArticle.Abstract">
    <meta property="og:image" content="@currentArticle.CoverUrl">
</HeadContent>

• 配置后SSR/预渲染返回的HTML头信息会和对应页面内容完全匹配，爬虫可正确识别页面主题与核心信息

3. 生成并提交站点地图（sitemap.xml） #

• 针对所有动态生成的详情页，生成包含完整URL、更新时间、页面权重的sitemap.xml
• 可选择两种生成方式：开发API接口动态返回实时更新的站点地图，或者定期生成静态sitemap.xml放到站点根目录
• 将sitemap地址提交到Google Search Console、Bing Webmaster Tools，引导爬虫主动遍历所有公开页面

4. 规范robots.txt配置 #

• 将robots.txt放置在站点根目录，明确允许搜索引擎抓取所有公开页面路径，屏蔽后台、用户中心等无需收录的路径
• 可在robots.txt内声明sitemap地址，方便爬虫自动识别抓取

5. 额外优化适配 #

• 页面内容使用语义化HTML标签编写，不要完全用自定义组件包裹核心文本内容
• 页面核心内容需在初始化时自动加载，不要设置为依赖点击、滚动等用户交互才触发加载
• 所有详情页使用唯一的标准路由地址，避免使用带复杂参数的哈希路由

内容的提问来源于stack exchange，提问作者John Mackerras