如何通过Monstache将MongoDB新增字段同步至ElasticSearch？

以下是针对字段同步失效问题的具体解决步骤：

1. 开启Monstache的自动映射更新 #

Monstache默认不会自动更新ElasticSearch的索引映射，需要在配置文件（monstache.toml）中添加或修改以下配置：

enable-mapping-updates = true

该配置会让Monstache检测到MongoDB文档的新增字段时，自动更新ES的索引映射，确保新字段能被同步。

2. 检查ElasticSearch的动态映射设置 #

如果ES索引的dynamic属性被设为false，即使Monstache推送了新字段，ES也会忽略它们。可通过以下命令查看索引映射配置：

curl -X GET "http://your-es-host:9200/your-index/_mapping"

若返回结果中dynamic为false，执行以下命令修改为true：

curl -X PUT "http://your-es-host:9200/your-index/_mapping" -H "Content-Type: application/json" -d '{
  "dynamic": true
}'

3. 重新同步现有文档 #

手动更新ES映射后，已同步到ES的历史文档不会自动补上新增字段，需通过Monstache的重新同步功能更新：

• 临时启动Monstache时添加--resync参数指定目标集合：

monstache -f monstache.toml --resync your-db.your-collection

• 或在配置文件中添加resync = ["your-db.your-collection"]，启动Monstache后自动完成重新同步。

4. 验证Monstache的变更流监听配置 #

确保Monstache正确捕获MongoDB的变更事件：

• 检查配置文件中的namespace-regex，确认目标集合未被过滤：

namespace-regex = "^your-db\\.your-collection$"

• 确认Monstache使用的MongoDB用户拥有changeStream权限，保证变更流能正常触发。

5. 排查文档转换逻辑 #

若你在Monstache中配置了transformers（文档转换器），检查转换器代码是否过滤了新增字段：

• Go编写的转换器需保留所有原始字段，不要仅序列化固定字段；
• JSON模板转换器避免使用字段白名单排除新增字段。

内容的提问来源于stack exchange，提问作者Jiew Meng