本地SQL Server数据读取乱码问题：AWS Glue正确编码方法咨询

当SQL Server列配置了特定排序规则，AWS Glue动态框架读取时出现问号乱码，本质是字符编码转换不匹配导致的，以下是具体解决方法：

1. 配置JDBC连接的编码与排序规则参数 #

在Glue的JDBC连接选项中，显式指定字符编码和对应SQL Server的排序规则，确保驱动能正确解析字符：

connection_options = {
    "url": "jdbc:sqlserver://your-sql-server:1433;databaseName=target-db",
    "dbtable": "your-target-table",
    "user": "db-user",
    "password": "db-pass",
    "characterEncoding": "UTF-8",
    "connectionCollation": "SQL_Latin1_General_CP1_CI_AS"  # 替换为目标列实际的排序规则
}

dyf = glueContext.create_dynamic_frame.from_options(
    connection_type="jdbc",
    connection_options=connection_options,
    transformation_ctx="sql_server_dyf"
)

注意connectionCollation的值必须与SQL Server列的排序规则完全一致，不能有拼写错误。

2. 显式转换列类型为Unicode #

如果目标列是varchar这类非Unicode类型，可通过SQL查询将其转换为nvarchar后再读取，跳过驱动层面的编码转换问题：

connection_options = {
    # 保留其他连接参数
    "dbtable": "(SELECT CAST(your-problem-column AS NVARCHAR(MAX)) AS your-problem-column FROM your-target-table) AS temp_table"
}

这种方式让SQL Server先完成字符编码的转换，Glue读取Unicode类型时不会出现乱码。

3. 设置Glue作业的JVM字符集环境变量 #

在Glue作业的配置页面，添加环境变量JAVA_TOOL_OPTIONS="-Dfile.encoding=UTF-8"，确保JVM底层使用UTF-8编码处理所有字符输入输出，避免因默认编码不一致导致的丢失。

4. 匹配排序规则对应的字符集 #

部分排序规则对应特定字符集（比如SQL_Latin1_General_CP1_CI_AS对应ISO-8859-1），若直接用UTF-8读取仍有问题，可先将characterEncoding设为对应字符集，再在Glue中转换为UTF-8：

# 先以ISO-8859-1读取
connection_options["characterEncoding"] = "ISO-8859-1"
dyf = glueContext.create_dynamic_frame.from_options(...)

# 转换为UTF-8编码的字符串列
dyf_utf8 = dyf.resolveChoice(specs=[("your-problem-column", "cast:string")])

内容的提问来源于stack exchange，提问作者Kishore Gadikota