Teradata .Net ODBC Provider编码异常：非ASCII字符显示替代符

问题描述 #

使用Teradata .Net ODBC Provider加载数据时整体运行正常，但加载日语、中文等非ASCII编码语言的字符串时，仅得到替代字符(\u0001)。已确认数据库内的数据已正确存储所有非ASCII字符，需配置驱动使其返回UTF8格式的数据。

代码示例：

using var cn = new TdConnection(connectionString);
cn.Open();

TdCommand cmd = cn.CreateCommand();
cmd.CommandTimeout = 3600;
cmd.CommandText = query;

using var reader = cmd.ExecuteReader();
if (reader.HasRows)
{
    while (reader.Read())
    {
        var test = reader.GetString(reader.GetOrdinal("description"));

        ...other fields
    }
}

cn.Close();

解决方案 #

Teradata .Net ODBC Provider支持通过连接字符串配置字符编码，解决非ASCII字符解析异常的问题，具体操作如下：

1. 修改连接字符串，添加UTF-8编码配置 #

在连接字符串中加入两个关键参数，强制驱动以UTF-8格式与数据库交互：

• CharacterSet=UTF8：指定驱动使用UTF-8编码处理字符数据
• SessionCharacterSet=UTF8：设置会话字符集为UTF-8，保证数据传输过程中的编码一致性

示例连接字符串：

"Driver={Teradata};DBCName=你的数据库服务器;Uid=你的用户名;Pwd=你的密码;CharacterSet=UTF8;SessionCharacterSet=UTF8;"

2. 额外检查项 #

• 确保使用的Teradata .Net ODBC Provider是最新版本，旧版本可能存在编码兼容缺陷
• 确认数据库中存储非ASCII字符的列类型为Unicode兼容类型（如VARCHAR(n) CHARACTER SET UNICODE），双重验证可排除潜在问题

修改后的完整代码示例 #

// 配置UTF-8编码的连接字符串
var connectionString = "Driver={Teradata};DBCName=你的数据库服务器;Uid=你的用户名;Pwd=你的密码;CharacterSet=UTF8;SessionCharacterSet=UTF8;";

using var cn = new TdConnection(connectionString);
cn.Open();

TdCommand cmd = cn.CreateCommand();
cmd.CommandTimeout = 3600;
cmd.CommandText = query;

using var reader = cmd.ExecuteReader();
if (reader.HasRows)
{
    while (reader.Read())
    {
        var test = reader.GetString(reader.GetOrdinal("description"));
        // 此时非ASCII字符应能正确显示
        // ...处理其他字段
    }
}

cn.Close();

内容的提问来源于stack exchange，提问作者Bohuslav Sys