Python从Teradata读取希伯来文数据乱码问题求助

问题原因 #

• Teradata连接未指定匹配希伯来文的字符集，teradatasql默认字符集无法正确解析希伯来文编码（如cp1255/ISO-8859-8），导致字符串编码混乱。
• 手动转码时，ISO-8859-1字符集覆盖范围有限，部分希伯来文字符无对应编码，触发UnicodeEncodeError；ISO-8859-15与cp1255字符集不完全兼容，导致转码不完整。

解决方案 #

方案1：连接时指定对应字符集（推荐） #

直接在tdSQL.connect中添加charset参数，指定希伯来文适用的编码（cp1255或ISO8859_8），从根源避免乱码：

conn = tdSQL.connect(logmech=logmech, host=host, charset='cp1255')
query = "SELECT * FROM table"
df = pandas.read_sql(query, conn)

方案2：修复手动转码逻辑 #

若无法修改连接参数，通过errors参数处理异常字符，确保转码覆盖更多场景：

def fix_hebrew_text(text):
    try:
        # 优先尝试ISO-8859-8转码，replace处理无法编码的字符
        return text.encode('ISO-8859-1', errors='replace').decode('ISO-8859-8')
    except Exception:
        return text

# 对目标列批量处理
df['Gibberish'] = df['Gibberish'].apply(fix_hebrew_text)

或适配cp1255编码：

def fix_hebrew_text(text):
    try:
        return text.encode('ISO-8859-1', errors='replace').decode('cp1255')
    except Exception:
        return text

df['Gibberish'] = df['Gibberish'].apply(fix_hebrew_text)

方案3：检查数据库端字符集配置 #

确认Teradata中存储希伯来文的列字符集为cp1255或ISO-8859-8，若服务器端字符集配置错误，需调整后重新查询。

内容的提问来源于stack exchange，提问作者AlonBA