Python读取.dta文件俄文字符乱码问题及解决咨询

你遇到的是典型的编码不匹配导致的乱码（Mojibake）和编码转换错误，我来一步步帮你搞定：

1. 先修复已出现的乱码 #

你看到的Яномамо是UTF-8编码的俄文被错误用Windows-1252（或cp1252）解码产生的乱码。如果已经读取到这种乱码字符串，可以先修复它：

# 假设乱码字符串存在变量中
mojibake_str = "Яномамо"
fixed_str = mojibake_str.encode("windows-1252").decode("utf-8")
print(fixed_str)  # 应该能显示正确的俄文

2. 从根源避免乱码：正确读取.dta文件 #

Stata的.dta文件编码分两种常见情况：俄语地区旧版Stata常用cp1251编码，Stata 13及以后默认用UTF-8。你需要先确认文件实际编码，再对应读取：

方法一：用chardet检测文件编码 #

先安装chardet库：

pip install chardet

然后检测编码：

import chardet

with open("your_file.dta", "rb") as f:
    raw_data = f.read()
    encoding_result = chardet.detect(raw_data)
    print(f"检测到的编码：{encoding_result['encoding']}，置信度：{encoding_result['confidence']}")

得到编码后，用pandas读取时指定该编码：

import pandas as pd

# 替换成检测到的编码，比如'cp1251'或'utf-8'
df = pd.read_stata("your_file.dta", encoding=encoding_result["encoding"])

方法二：直接尝试俄语常用编码 #

如果检测结果不确定，直接试两种常用编码：

# 先试cp1251
try:
    df = pd.read_stata("your_file.dta", encoding="cp1251")
    print("用cp1251读取成功")
except UnicodeDecodeError:
    # 再试utf-8
    df = pd.read_stata("your_file.dta", encoding="utf-8")
    print("用utf-8读取成功")

3. 解决打印时的UnicodeEncodeError #

你执行row['name_rus'].encode("cp1251")报错，通常有两个原因：要么字符串包含cp1251不支持的特殊字符，要么终端输出编码不匹配。这里给你两种解决方案：

方案A：切换终端到UTF-8编码（推荐） #

• Windows CMD：执行chcp 65001切换到UTF-8编码，之后直接打印Unicode字符串即可：

  print(row['name_rus'])
  

• Linux/macOS终端默认一般是UTF-8，直接打印就行。

方案B：按终端编码转换并处理错误 #

如果无法切换终端编码，转换时添加错误处理参数：

# 假设终端用cp1251编码，替换成你终端实际的编码
print(row['name_rus'].encode("cp1251", errors="replace").decode("cp1251"))
# errors参数可选：'replace'（用?替换无法编码的字符）、'ignore'（忽略无法编码的字符）

总结步骤 #

1. 检测.dta文件的实际编码，用对应编码读取
2. 如果已经出现乱码，先通过encode("windows-1252").decode("utf-8")修复
3. 确保终端输出编码和字符串编码匹配，避免打印时的编码错误

内容的提问来源于stack exchange，提问作者alienboy