Azure Cognitive Search未同步Blob中CSV数据变更的配置咨询

1. 确认Blob的修改时间戳 #

索引器默认依赖Blob的最后修改时间判断是否需要重新处理文件。如果修改CSV内容后，Blob的Last Modified时间戳未更新（比如部分上传工具覆盖文件时不刷新时间戳），索引器会直接跳过处理。

• 手动在Azure存储容器中检查目标Blob的最后修改时间，确认修改后的文件时间戳已更新；
• 使用脚本上传时，确保上传操作会刷新该时间戳（例如Azure CLI的az storage blob upload命令默认会更新）。

2. 配置正确的刷新策略 #

单个CSV文件的行级变更无法被默认增量模式识别，需调整索引器的刷新逻辑：

• 强制全量刷新：保留每日运行的调度，每次运行时触发全量扫描。可通过Azure CLI执行：

  az search indexer run --name <你的索引器名称> --resource-group <资源组名称> --search-service-name <搜索服务名称> --reset
  

  也可在门户的索引器页面点击“重置并运行”，强制重新处理整个CSV文件；
• 行级增量检测：如果CSV包含唯一ID列和最后更新时间列，可配置索引器的changeDetectionPolicy：
  • 在数据源中开启变更检测，指定highWaterMarkColumnName为最后更新时间列；
  • 在索引器配置中将唯一ID列设为keyField，这样每次运行只会处理更新时间晚于上次运行时间的行，提升处理效率。

3. 检查字段映射与索引属性 #

• 确认索引器的字段映射中，所有需要更新的列（如价格列）都正确关联到索引的对应字段，无遗漏；
• 检查索引的字段定义，确保目标字段未被设置为只读（默认均为可更新状态，除非手动修改属性）。

4. 排查索引器运行日志 #

在搜索服务的索引器页面查看“运行历史记录”，检查每次运行的状态与细节：

• 如果存在警告或错误，比如CSV分隔符不匹配、编码问题（如UTF-8带BOM）、数值格式解析失败（如价格列用逗号作为小数分隔符），都会导致数据未更新；
• 确认索引器拥有读取Blob容器的足够权限，排除权限问题导致的文件读取失败。

5. 规范CSV文件格式 #

• 确保CSV每行的列数一致，无缺失值导致的解析中断；
• 统一数值字段格式，比如价格列改用点作为小数分隔符，避免索引器解析错误；
• 若文件长期频繁更新，可考虑将CSV拆分为小文件，但单个2万行的文件只要格式规范，不会产生性能问题。

内容的提问来源于stack exchange，提问作者Julian