mysql分库分表后怎么同步es

当我们对MySQL进行分库分表之后，数据存储方式会发生很大的变化，这也意味着我们需要重新考虑如何同步ES的数据源。

一般来说，我们可以选择使用以下两种方式实现MySQL分库分表后的数据同步：

1. 通过中间件统一处理同步

有很多开源的中间件例如Canal、MyCAT等可以支持MySQL的分库分表的数据同步，我们可以选择其中一个来进行数据同步。这些中间件工具可以在数据库进行操作时自动捕获变更，再将变化同步到ES中。

例如，使用Canal的同步方式可以通过以下方式实现：

首先，我们需要去Canal的官网下载Canal Server的 jar 包进行安装。然后在MySQL上安装 Canal Client，并在启动时指定 Canal Server 的地址和端口号等配置信息。之后，我们就可以使用Canal的API去获取MySQL的数据变化，再将变化同步到ES中。

2. 直接使用ES的API进行同步

我们可以直接使用ES的API对MySQL进行数据同步。在MySQL数据变更时，我们可以使用binlog来获取变化数据，再使用ES的API将数据同步至ES中。

具体流程如下：

首先，我们需要在MySQL中开启 binlog，并按需要记录相关的数据变更。

然后，在每次数据变化的时候我们可以通过相关的逻辑从MySQL中获取相应数据，并进行转换，然后再使用ES的API实现同步。代码示例如下：

import com.alibaba.otter.canal.client.CanalConnector;
import com.alibaba.otter.canal.client.CanalConnectors;
import com.alibaba.otter.canal.protocol.CanalEntry;
import com.alibaba.otter.canal.protocol.Message;
import com.alibaba.otter.canal.protocol.CanalEntry.EventType;
import org.elasticsearch.action.index.IndexRequest;
import org.elasticsearch.action.index.IndexResponse;
import org.elasticsearch.client.RestHighLevelClient;
import org.elasticsearch.common.xcontent.XContentType;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Component;

import java.net.InetSocketAddress;
import java.util.List;

@Component
public class CanalClient {
    private static final String INDEX = "index";
    private static final String TYPE = "type";

    @Autowired
    private RestHighLevelClient restHighLevelClient;

    public void canalListen() {
        CanalConnector connector = CanalConnectors.newSingleConnector(new InetSocketAddress("127.0.0.1", 11111), "example", "root