UTF-8编码TXT转SQL出现编码错误的Java解决方案咨询

我来帮你搞定这个西里尔字符乱码的问题！核心问题大概率出在文件读取时的编码一致性以及后续SQL生成/导入环节的编码配置上，先给你优先的Java解决方案，再补充其他可行方案：

1. 修复文件读取逻辑 #

原代码用FileReader+getResource().getFile()有两个隐形坑：

• FileReader默认使用系统默认编码，不是你需要的UTF-8；
• getResource().getFile()会把URL中的特殊字符（比如空格）转成%20，导致文件路径解析错误，而且直接读取文件路径可能因为类加载器的限制读不到资源。

改成用getResourceAsStream直接获取输入流，配合指定UTF-8的InputStreamReader，彻底解决读取编码问题：

import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStreamReader;
import java.nio.charset.StandardCharsets;

// 读取文件的修正代码
try (BufferedReader br = new BufferedReader(
        new InputStreamReader(
                // 直接获取资源输入流，避免路径转码坑
                GeoData.class.getResourceAsStream(sourceFilenameInput.getText().trim()),
                StandardCharsets.UTF_8))) { // 明确指定UTF-8编码
    String line;
    while ((line = br.readLine()) != null) {
        GeoData geoData = new GeoData();
        geoData.addOrt(getPlaceFromFile(line));
    }
} catch (IOException e) {
    e.printStackTrace();
}

2. 确保SQL输出/写入的编码一致 #

如果你的程序是生成SQL文件后再导入，一定要保证写入SQL文件时也用UTF-8编码，避免二次转码：

import java.io.BufferedWriter;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.OutputStreamWriter;
import java.nio.charset.StandardCharsets;

// 写入SQL文件的示例代码
try (BufferedWriter bw = new BufferedWriter(
        new OutputStreamWriter(
                new FileOutputStream("output.sql"),
                StandardCharsets.UTF_8))) { // 输出也强制UTF-8
    String filteredPlace = getPlaceFromFile(line);
    bw.write("INSERT INTO your_table (place_column) VALUES ('" + filteredPlace + "');");
    bw.newLine();
} catch (IOException e) {
    e.printStackTrace();
}

3. 更安全的JDBC直接插入（推荐） #

与其生成SQL文件再导入，不如直接用JDBC插入数据库，既能彻底避免编码问题，还能防止SQL注入风险：

import java.sql.Connection;
import java.sql.PreparedStatement;
import java.sql.SQLException;

// 假设你已经获取了数据库Connection实例
String insertSql = "INSERT INTO your_table (place_column) VALUES (?)";
try (PreparedStatement pstmt = conn.prepareStatement(insertSql)) {
    String filteredPlace = getPlaceFromFile(line);
    pstmt.setString(1, filteredPlace); // PreparedStatement自动处理字符转义
    pstmt.executeUpdate();
} catch (SQLException e) {
    e.printStackTrace();
}

• 确认你的TXT文件确实是UTF-8编码（可以用Notepad++查看编码格式，若为UTF-8 BOM格式，Java读取时可跳过前3个字节）；
• 确保MySQL数据库、表、字段的字符集是utf8mb4（比utf8支持更多Unicode字符，完美兼容西里尔文），排序规则推荐用utf8mb4_unicode_ci。

如果Java方案调整起来麻烦，Python处理编码问题更直观简洁：

import mysql.connector
from mysql.connector import Error

# 读取UTF-8编码的TXT文件
with open("postcodes.txt", "r", encoding="utf-8") as file:
    lines = file.readlines()

# 连接MySQL（指定utf8mb4字符集）
try:
    conn = mysql.connector.connect(
        host="localhost",
        database="your_db",
        user="your_user",
        password="your_pass",
        charset="utf8mb4"
    )
    if conn.is_connected():
        cursor = conn.cursor()
        insert_sql = "INSERT INTO your_table (place_column) VALUES (%s)"
        
        for line in lines:
            parts = line.strip().split("\t")
            if len(parts) > 2:
                for i in range(len(parts)-2):
                    place = parts[i+2].strip()
                    if place and len(place) > 3:
                        # 过滤特殊字符
                        filtered_place = place.replace("'", " ").replace("\\", " ").replace("^", " ").replace(";", " ").replace("*", " ").replace("|", " ")
                        cursor.execute(insert_sql, (filtered_place,))
        
        conn.commit()
        print("数据导入完成！")
except Error as e:
    print(f"数据库操作出错: {e}")
finally:
    if conn.is_connected():
        cursor.close()
        conn.close()

如果已经生成了UTF-8的SQL文件，用命令行导入时记得指定编码：

mysql -u your_username -p --default-character-set=utf8mb4 your_database < output.sql

内容的提问来源于stack exchange，提问作者Michael