Azure AI Search索引器投影警告及向量字段缺失问题求助

核心问题定位 #

1. 投影表达式未做空值校验：技能集中的投影逻辑直接遍历/document/pages/*，但部分页面因解析异常（空内容、格式不兼容）导致vector字段缺失，触发投影警告；同时无内容的chunk传入TextSplitSkill，引发输入无效错误。
2. 增量处理逻辑限制：二次运行时，索引器仅检查Blob修改时间，已标记为“处理完成”的Blob不会被重新处理，导致部分错误chunk未修复，同时新的异常chunk可能因解析波动出现。

具体解决步骤 #

1. 修正投影表达式，增加过滤逻辑 #

修改技能集中的投影配置，加入空值判断，仅保留有效chunk：

=$(/document/pages/*) ?map(
  @(
    "chunk": $(/),
    "customId": $(/document/customId),
    "title": $(/document/metadata_storage_name),
    "vector": $(/vector)
  ),
  $(/vector) != null && $(/) != null
)

通过$(/vector) != null && $(/) != null过滤掉无向量或无内容的页面，避免无效数据进入索引，同时消除投影警告。

2. 排查文档解析异常 #

部分多格式文件（如复杂布局PDF、带隐藏内容的Office文件）可能导致解析器无法提取有效内容：

• 使用Azure AI Search的测试技能集功能，单独上传问题Blob，查看/document/pages节点的输出，确认是否存在空页面或未生成向量的条目。
• 对解析异常的文件进行预处理：将复杂PDF转为纯文本格式，清理Office文件的冗余格式或宏内容后重新上传。

3. 调整索引器运行策略 #

• 重置索引器：强制重新处理所有Blob（操作前建议备份现有索引数据），确保所有异常条目被重新解析。
• 配置错误容忍：将索引器的failOnError设为false，同时设置maxFailedItems和maxFailedItemsPerBatch为合适数值（如100），避免索引器因个别错误中断，同时记录所有错误条目便于后续处理。

4. 优化向量生成前置校验 #

在TextSplitSkill和向量生成技能之前，添加空文本过滤逻辑：

• 使用内置的ConditionalSkill，判断pages/*/content是否为空，仅将非空内容传入后续技能流程，从源头避免无效输入错误。

内容的提问来源于stack exchange，提问作者lbbb92