Python字符串隐式编码/转码场景、方式及默认编码解析

作为常年跟Python编码问题打交道的老玩家，我把这些容易踩坑的隐式场景和对应的默认编码给你掰扯清楚——毕竟这玩意儿真的是新手（甚至不少老鸟）的噩梦😎

一、字符串字面量的隐式编码 #

这里得先区分Python 2和Python 3，两个版本的字符串模型差异巨大：

Python 2环境 #

• 不带u前缀的字面量（比如s = "带中文的字节串"）：本质是字节字符串，它的编码完全取决于你保存.py文件时用的编码。比如你用UTF-8保存文件，那这个字节串就是UTF-8编码的；但如果没在文件开头加# -*- coding: utf-8 -*-这类编码声明，Python 2默认会用ASCII来解析字面量，写个非ASCII字符直接报错，相当硬核。
• 带u前缀的字面量（比如us = u"带中文的Unicode串"）：是Unicode字符串，Python 2会按照文件的编码声明，把字面量的字节转换成对应的Unicode码点。同样，没声明编码的话默认ASCII，非ASCII字符直接炸。

Python 3环境 #

• 不带u前缀的字面量（比如s = "带中文的字符串"）：默认就是Unicode字符串，编码由代码文件的编码决定（Python 3默认用UTF-8，即使你没写编码声明也不会像Python 2那样轻易报错）。
• 带u前缀的字面量（比如us = u"带中文的字符串"）：完全是为了兼容Python 2的写法，本质和不带u的Unicode字符串没啥区别，不用纠结。

二、字节字符串与Unicode相互转换时的隐式编码 #

这部分基本是Python 2的专属坑，Python 3把字节（bytes）和Unicode（str）严格区分开了，根本不允许隐式转换，必须显式调用encode()/decode()：

Python 2的隐式转换场景 #

• 字节串转Unicode（比如unicode(random_byte_string)）：
  当你调用unicode()函数却没指定编码参数时，Python 2会默认用sys.getdefaultencoding()返回的编码来解码字节串。而这个默认编码在绝大多数情况下是ASCII——这就是无数人踩坑的根源！比如你手里是个UTF-8编码的字节串，直接转Unicode会因为ASCII解码不了非ASCII字符，当场抛出UnicodeDecodeError。
  另外，当你把字节串和Unicode字符串拼接（比如"字节串" + u"Unicode串"），字节串会被隐式转成Unicode，用的也是这个ASCII编码，同样容易翻车。

• Unicode串转字节串：
  如果你把Unicode字符串当成字节串用（比如直接写入文件却不指定编码，或者拼接时Unicode串在前），Python 2会隐式调用encode()，默认编码还是ASCII，非ASCII字符直接给你抛UnicodeEncodeError，毫不留情。

三、文件读写时的隐式编码 #

文件读写的隐式编码同样分版本：

Python 2环境 #

• 用open()打开文件时，默认是字节模式，读写的都是字节串。如果你硬要写Unicode字符串进去，Python 2会隐式用sys.getdefaultencoding()的ASCII编码转成字节串，非ASCII字符直接报错。
• 要读写Unicode的话，得用codecs.open()或者Python 2.7+支持的encoding参数手动指定编码，否则都是纯字节操作，不存在隐式转码。

Python 3环境 #

• 用open()打开文件时，默认是文本模式，读写的都是Unicode字符串。这时候的默认编码取决于你操作系统的 locale：Windows中文系统默认是gbk，英文系统是cp1252；Linux/macOS下默认是UTF-8。你可以用locale.getpreferredencoding(False)来查看当前系统的这个默认编码。
• 如果打开文件时加了b模式（比如open("file.txt", "rb")），那就是字节模式，读写的都是字节串，没有任何隐式编码转换。

小工具：查看当前默认编码 #

想快速确认自己环境的默认编码？运行这段代码就行：

import sys
import locale

print("sys.getdefaultencoding():", sys.getdefaultencoding())
print("locale.getpreferredencoding():", locale.getpreferredencoding(False))

内容的提问来源于stack exchange，提问作者ivan_pozdeev