PYTHON3编码再探究

原文请戳

本文大概需要10分钟看完

1 看一段简单代码

要求：Linux编辑器，python3版本

vim test1.py

# test1.py内容：
import sys, locale
s = "王佳"
print(s)
print(sys.getdefaultencoding())
print(locale.getdefaultlocale())
with open("utf8_1.txt","w",encoding = "utf-8") as f:
    f.write(s)
with open("gbk_1.txt","w",encoding = "gbk") as f:
    f.write(s)

sys.getdefaultencoding()：python编译器的编码

locale.getdefaultlocale()：本地操作系统的编码

上述代码返回结果：

王佳
utf-8 # python编译器的编码
('en_US', 'UTF-8') # 本地操作系统的编码

再来看一下生成的两个文件中的内容，我们使用notepad打开，并且将这两个的文件编码都设置成utf-8

utf8_1.txt：

gbk_1.txt：

分析如下：

#1 对于utf8_1.txt来说
# 第一步：由于linux的编辑器是utf8，所以：
'王佳'.encode('utf8') = \xe7\x8e\x8b\xe4\xbd\xb3 （写入文件时）
# 第二步：由于没有指定py文件的coding，所以python解释器将默认按照系统编码utf8进行解码
\xe7\x8e\x8b\xe4\xbd\xb3.decode('utf8') = '王佳'
# 第三步：open时指定了encoding=utf8去编码写入到文件中
'王佳'.encode('utf8')= \xe7\x8e\x8b\xe4\xbd\xb3
# 第四步：在notepadd中指定了utf8去解码
\xe7\x8e\x8b\xe4\xbd\xb3.decode('utf8')='王佳'
#2 对于gbk_1.txt来说
# 第一步：由于linux的编辑器是utf8，所以：
'王佳'.encode('utf8') = \xe7\x8e\x8b\xe4\xbd\xb3 （写入文件时）
# 第二步：由于没有指定py文件的coding，所以python解释器将默认按照系统编码utf8进行解码
\xe7\x8e\x8b\xe4\xbd\xb3.decode('utf8') = '王佳'
# 第三步：open时指定了encoding=gbk去编码写入到文件中
'王佳'.encode('gbk')= \xcd\xf5\xbc\xd1
# 第四步：在notepadd中指定了utf8去解码
\xcd\xf5\xbc\xd1.decode('utf8')=这样写会报错，因为utf8编码，没有这几个。所以notepad就显示其gbk的字节码。

再看一段代码

# test2.py
#coding=gbk
import sys, locale
s = "王佳"
print(s)
print(sys.getdefaultencoding())
print(locale.getdefaultlocale())
with open("utf8_2.txt","w",encoding = "utf-8") as f:
    f.write(s)
with open("gbk_2.txt","w",encoding = "gbk") as f:
    f.write(s)

此时，再看一下文件中的结果：

utf8_2.txt：

# 出现 鐜嬩匠 的原因分析
# 第一步：由于linux的编辑器是utf8，所以：
'王佳'.encode('utf8') = \xe7\x8e\x8b\xe4\xbd\xb3 （写入文件时）
# 第二步：由于指定py文件的coding=gbk，所以python解释器将默认按照系统编码gbk进行解码读取
\xe7\x8e\x8b\xe4\xbd\xb3.decode('gbk') = '鐜嬩匠'
# 第三步：open时指定了encoding=utf8去编码写入到文件中
'鐜嬩匠'.encode('utf8')= ??\xe5\x8c\xa0
# 第四步：在notepadd中指定了utf8去解码
??\xe5\x8c\xa0.decode('utf8')='鐜嬩匠'

gbk_2.txt：

# 正常显示的原因
# 第一步：由于linux的编辑器是utf8，所以：
'王佳'.encode('utf8') = \xe7\x8e\x8b\xe4\xbd\xb3 （写入文件时）
# 第二步：由于指定py文件的coding=gbk，所以python解释器将默认按照系统编码gbk进行解码读取
\xe7\x8e\x8b\xe4\xbd\xb3.decode('gbk') = '鐜嬩匠'
# 第三步：open时指定了encoding=gbk去编码写入到文件中
'鐜嬩匠'.encode('gbk')= \xe7\x8e\x8b\xe4\xbd\xb3
# 第四步：在notepadd中指定了utf8去解码
\xe7\x8e\x8b\xe4\xbd\xb3.decode('utf8')='王佳'