如何实现ElasticSearch与Drupal-MySQL现有网站架构的同步？

一、当前ES架构的可行性结论 #

你这套基于Logstash JDBC + ElasticSearch的架构完全可行，核心问题出在模拟MySQL库的同步逻辑和数据重复的控制上，调整后可以适配生产环境的Drupal+MySQL架构。

二、开发环境同步方案（替代每日CronJob同步真实库到模拟库） #

放弃维护模拟MySQL库，直接让Logstash连接真实MySQL的只读副本（避免影响生产业务），实现开发环境ES与真实数据的准实时同步：

• 配置Logstash JDBC输入的增量同步逻辑，避免全量同步导致的重复和性能问题：

  input {
    jdbc {
      jdbc_connection_string => "jdbc:mysql://your-read-replica-host:3306/drupal_db?useSSL=false"
      jdbc_user => "readonly_user"
      jdbc_password => "your-password"
      jdbc_driver_library => "/usr/share/logstash/mysql-connector-java-8.0.30.jar"
      jdbc_driver_class => "com.mysql.cj.jdbc.Driver"
      schedule => "* * * * *" # 每分钟同步一次
      statement => "SELECT nid, title, body, created, updated FROM node WHERE updated_at > :sql_last_value"
      last_run_metadata_path => "/usr/share/logstash/.last_run" # 记录上次同步时间戳
      use_column_value => true
      tracking_column => "updated_at"
      tracking_column_type => "timestamp"
    }
  }
  

• 这样开发环境的ES会自动拉取真实库的增量数据，无需手动维护模拟库的.sql初始化文件。

三、生产环境Drupal与ES的同步方案 #

根据业务对数据实时性的要求，选择两种同步策略组合使用：

1. 准实时同步（推荐） #

使用Drupal官方生态的模块直接对接ES，在数据变更时触发索引更新：

• Search API Elasticsearch：最常用的方案，支持Drupal实体（节点、用户等）的自动索引，在实体创建/更新/删除时，通过模块钩子直接调用ES的API更新文档，无延迟，且能精准控制同步字段，避免冗余。
• Elasticsearch Connector：更灵活的底层模块，适合自定义索引逻辑，比如同步非实体数据。

2. 批量兜底同步 #

不管用哪种实时方案，都要配置每日Cron任务作为兜底，防止因钩子失败、网络波动导致的数据不一致：

• 用Drush命令触发全量/增量索引：drush search-api-index
• 或用Logstash跑每日一次的全量同步（需加WHERE条件过滤已同步数据，避免重复）

四、解决ES与MySQL数据重复的核心措施 #

• 强制文档ID与MySQL主键绑定：在ES索引时，用Drupal节点ID（nid）或MySQL表的主键作为ES文档ID，更新时直接覆盖旧文档，杜绝重复。比如在Logstash输出配置中：

  output {
    elasticsearch {
      hosts => ["es-cluster:9200"]
      index => "drupal_nodes"
      document_id => "%{nid}" # 用节点ID作为ES文档ID
    }
  }
  

• 清理历史冗余数据：首次同步前，删除ES中旧的测试索引：curl -X DELETE http://es-cluster:9200/drupal_nodes
• 精简同步字段：只同步ES需要的查询字段，不要把MySQL的所有字段（比如内部管理字段）都同步到ES，减少冗余和重复概率。

五、优化“从CMS请求ES”的思路 #

• 不要直接在Drupal中写ES的REST请求，用Search API模块封装查询逻辑，模块会自动处理ES的连接、认证、缓存和权限控制，更符合Drupal的架构规范。
• 若需自定义复杂查询，使用Drupal提供的ES客户端类：\Drupal\elasticsearch_connector\ElasticSearch\Client，避免硬编码ES地址和认证信息。

内容的提问来源于stack exchange，提问作者rizerkrof