Logstash同步MySQL到Elasticsearch时编码兼容错误求助

核心错误incompatible encodings: CP850 and UTF-8是因为从MySQL读取的text字段编码（CP850）与Logstash/Elasticsearch默认使用的UTF-8编码不兼容，当字段包含俄文、表情符号这类非ASCII字符时触发冲突。以下是针对性解决方法：

1. 强制MySQL连接使用UTF-8编码 #

修改Logstash的JDBC连接字符串，添加编码参数，让MySQL驱动直接以UTF-8格式读取所有字段：

jdbc_connection_string => "jdbc:mysql://localhost:3306/posts?useUnicode=true&characterEncoding=UTF-8&characterSetResults=UTF-8"

这会从源头避免CP850编码的文本进入Logstash处理流程。

2. 在Logstash中显式转换字段编码 #

如果第一步仍未解决，在filter阶段添加ruby过滤器，强制将text字段编码转为UTF-8：

filter {
  ruby {
    code => "event.set('text', event.get('text').force_encoding('UTF-8'))"
  }
}

该操作会在Logstash内部直接修正字段编码，消除编码冲突。

3. 检查并修正MySQL数据源编码 #

确保MySQL数据库、表及text字段本身使用支持完整Unicode的编码（推荐utf8mb4，兼容表情符号）：

• 查看数据库编码：

  SELECT @@character_set_database;
  

• 查看表编码：

  SHOW CREATE TABLE telegram.channel_results;
  

• 若编码不是utf8mb4，执行以下SQL修改：

  ALTER TABLE telegram.channel_results CONVERT TO CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;
  ALTER TABLE telegram.channel_results MODIFY COLUMN text TEXT CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;
  

4. 调整Logstash运行环境编码（Windows系统适用） #

Windows环境下Logstash可能继承系统默认的CP850编码，需在启动前设置环境变量强制UTF-8：

set LC_ALL=en_US.UTF-8
set LANG=en_US.UTF-8

也可将这两行添加到Logstash的启动脚本中，确保运行环境编码统一。

内容的提问来源于stack exchange，提问作者Konrad Mönch