使用JDBC驱动从MySQL动态加载数据到ElasticSearch遇问题求助

我看你尝试用elasticsearch-jdbc工具把MySQL的event表数据同步到ES索引，但没达到预期效果，结合你给出的命令和参考过的资源，我来帮你一步步排查问题，同时给你一些更靠谱的方案建议：

你当前使用的命令 #

echo '{ 
  "type":"jdbc", 
  "jdbc":{ 
    "url":"jdbc:mysql://localhost:3306/CDFL", 
    "user":"root", 
    "password":"root", 
    "useSSL":"false", 
    "sql":"SELECT * FROM event", 
    "index":"event", 
    "type":"event", 
    "autocommit":"true", 
    "metrics": { "enabled" : true }, 
    "elasticsearch" : { 
      "cluster" : "servercluster", 
      "host" : "localhost", 
      "port" : 9300 
    } 
  } 
}' | java -cp "/etc/elasticsearch/elasticsearch-jdbc-2.3.4.0/lib/*" -Dlog4j.configurationFile=file:////etc/elasticsearch/elasticsearch-jdbc-2.3.4.0/bin/log4j2.xml "org.xbib.tools.Runner" "org.xbib.tools.JDBCImporter"

先从基础配置排查问题 #

1. ElasticSearch集群连接有效性 #

• 先确认ES集群的名称是不是servercluster：可以通过ES的API curl http://localhost:9200/_cat/nodes?v查看输出里的cluster字段，要是集群名不对，工具根本连不上ES。
• 测试9300端口连通性：用telnet localhost 9300或者nc -zv localhost 9300看看能不能正常连接，排除端口被防火墙拦截、ES服务未启动的问题。

2. MySQL连接与SQL查询验证 #

• 单独在MySQL客户端执行SELECT * FROM event，确认表存在、有数据，而且用户名密码能正常访问这个表。
• 用JDBC客户端（比如DBeaver）用同样的jdbc:mysql://localhost:3306/CDFL?useSSL=false参数连接，验证数据库连接无问题，避免JDBC驱动、SSL配置导致的隐藏错误。

3. 版本兼容性问题 #

你用的elasticsearch-jdbc是2.3.4.0版本，这个版本只适配ES 2.x系列。如果你现在的ES是7.x、8.x这些高版本，版本不兼容会直接导致同步失败。一定要保证工具版本和ES主版本匹配，比如ES7.x就要用对应版本的jdbc工具。

动态同步的核心配置缺失 #

你当前的命令只是执行了一次全量导入，如果要实现「动态数据同步（增量/实时更新）」，必须配置增量查询逻辑：

{
  "type":"jdbc",
  "jdbc":{
    "url":"jdbc:mysql://localhost:3306/CDFL",
    "user":"root",
    "password":"root",
    "useSSL":"false",
    "sql":"SELECT * FROM event WHERE update_time > ?",
    "schedule": "0 0-59 0-23 ? * *",
    "last_run_metadata_path": "/var/lib/elasticsearch-jdbc/last_run.json",
    "index":"event",
    "type":"event",
    "autocommit":"true",
    "metrics": { "enabled" : true },
    "elasticsearch" : {
      "cluster" : "servercluster",
      "host" : "localhost",
      "port" : 9300
    }
  }
}

• 这里假设你的event表有update_time字段（记录数据更新时间），用它作为增量标识；
• schedule配置定时任务（这里是每分钟执行一次）；
• last_run_metadata_path用来记录上次同步的时间，确保每次只同步新增/修改的数据。

查看日志定位具体错误 #

你的命令里配置了log4j2.xml，去对应的日志文件里找具体报错信息——比如连接超时、ES索引不存在、MySQL权限不足这些问题，日志是排查问题最直接的线索。

更推荐的替代方案：Logstash JDBC输入插件 #

既然你也参考了logstash-input-jdbc，这个插件现在是MySQL到ES同步的主流方案，配置更灵活，稳定性更好，支持增量同步。给你一个基础配置示例：

input {
  jdbc {
    jdbc_connection_string => "jdbc:mysql://localhost:3306/CDFL?useSSL=false"
    jdbc_user => "root"
    jdbc_password => "root"
    jdbc_driver_library => "/path/to/mysql-connector-java-8.0.30.jar"
    jdbc_driver_class => "com.mysql.cj.jdbc.Driver"
    schedule => "* * * * *" # 每分钟同步一次
    statement => "SELECT * FROM event WHERE update_time > :sql_last_value"
    use_column_value => true
    tracking_column => "update_time"
    tracking_column_type => "timestamp"
    last_run_metadata_path => "/var/lib/logstash/last_run"
  }
}

output {
  elasticsearch {
    hosts => ["http://localhost:9200"]
    index => "event"
    document_id => "%{id}" # 用MySQL表的主键作为ES文档ID，避免重复
  }
}

这个配置会自动记录上次同步的时间，每次只同步新增或更新的数据，完全满足动态同步的需求。

内容的提问来源于stack exchange，提问作者Akash Shrimali