TYPO3 13.4爬虫配置后未生成索引页面，求排查思路

可能的问题点 #

• 页面范围配置遗漏：检查Scheduler任务的页面选择，确认是否勾选了「包含子页面」，若未勾选，Crawler仅会爬取根页面uid259本身，不会处理其子页面；同时确认任务是否排除了需要索引的页面。
• 权限/上下文不匹配：Scheduler任务默认以后台用户权限执行，若该用户无目标页面的读取权限、或页面有IP/用户组限制，爬取时会无法获取页面内容；另外需确认Crawler是否配置了正确的「模拟前端用户」，部分页面需特定前端用户才能访问。
• 索引指令未配置：检查Crawler任务的「处理指令」，是否包含index_pages指令——若仅配置爬取而未添加索引指令，页面只会被抓取但不会触发IndexedSearch索引。
• IndexedSearch限制设置：确认IndexedSearch的配置中，是否存在仅允许「访问时索引」的限制，部分全局设置会屏蔽Crawler触发的索引操作。
• 缓存/队列异常：Crawler任务可能已加入队列但未执行，或旧缓存干扰了配置生效；检查tx_crawler_queue表是否有未处理任务，或清空系统缓存后重试。

调试步骤 #

• 执行带详细日志的爬取命令：在Shell中运行./typo3/sysext/core/bin/typo3 crawler:run -v，查看输出日志，确认是否有页面被爬取、索引步骤是否执行，排查是否有权限不足、页面无法访问等隐藏错误。
• 检查Scheduler执行历史：在TYPO3后台的Scheduler任务列表中，查看对应爬取任务的「执行历史」，确认任务是否成功执行，以及执行时的输出信息是否有异常提示。
• 测试单个页面爬取：用命令行指定单个页面UID测试，比如./typo3/sysext/core/bin/typo3 crawler:run --pid=xxx，执行后查看tx_indexedsearch_index表是否新增对应记录，同时结合日志分析问题。
• 检查数据库表状态：
  • 查看tx_indexedsearch_index表，确认目标页面的索引记录是否存在，status字段是否为0（表示已正常索引）。
  • 查看tx_crawler_queue表，检查任务的processed字段是否为1（已处理），error_msg字段是否存储了错误信息。
• 模拟后台用户访问：使用Scheduler任务对应的后台用户登录TYPO3后台，通过「查看」模块预览目标页面，若无法正常加载，说明页面权限或配置存在问题。

内容的提问来源于stack exchange，提问作者Lars Hansen