Python序列化技术：pickle与JSON标准库深度解析

沿途有光

发布时间：2026-10-15 | 5人浏览过

原创

本文深入解析Python中pickle与JSON两大标准库的序列化机制。详细对比两者在数据类型支持、编码格式及多语言兼容性上的差异，重点讲解dumps/loads与dump/load函数的使用场景。针对JSON连续读写报错问题提供解决方案，并阐述pickle在Python内部数据持久化与JSON在跨语言数据交互中的最佳实践。

常用的标准库

序列化模块

import pickle

序列化和反序列化

将原本无法直接存储的数据转换为可存储格式的过程称为序列化；反之，从文件中读取数据并还原为原始数据类型和结构的过程称为反序列化。

文件存储通常仅支持字符串或字节流格式，无法直接保存其他复杂数据类型。若需将复杂数据存入文件，必须通过序列化手段进行转换。

Python内置的序列化模块为 pickle，而在PHP等其他编程语言中，这一功能通常被称为serialize或unserialize。各语言的序列化模块均能处理其语言体系内的所有数据类型。

使用场景

当当前无需使用某段数据，但未来可能再次调用时，最佳策略是将其保存至存储介质中。

保存数据通常有两种途径：存入数据库或保存为文件。若数据结构复杂，存入数据库需遵循特定格式，操作繁琐且可能破坏原有结构，此时选择保存为文件更为合适。

如下所示：保存文件会遇到种种的麻烦问题。

# 这是我想要保存的一段数据 lst = ['A', 'B', 'C'] # 直接使用open函数不能将非字符串和非字节流的数据写入文件 with open('data.txt', 'w', encoding='UTF-8') as fp : fp.write(lst) # ！！！ TypeError # 将数据变成字符串就破坏了原有的数据结构（如果很复杂的数据结构几乎没有复原的可能性） lst = str(lst) # 将数据变成字节流：只能将字符串变成字节流数据！

利用序列化功能，可将数据转换为字节流格式并存储于文件中。需要时，从文件读取字节流并反序列化，即可还原原始数据结构，确保数据完整性不受损。

序列化功能不仅支持基本数据类型，还能处理函数、类、对象等Python中的任何数据类型。

dumps & loads

dumps函数将任意对象序列化为bytes字节数据，loads函数则将序列化的bytes数据反序列为原始数据格式。

注意：只能反序列化被序列化的数据

import pickle

# 这是我想要保存的一段数据
lst = ['A', 'B', 'C']

# dumps 把任意对象序列化成bytes
res = pickle.dumps(lst)
print(res)  # b'\x80\x03]q\x00(X\x01\x00\x00\x00Aq\x01X\x01\x00\x00\x00Bq\x02X\x01\x00\x00\x00Cq\x03e.'
print(type(res))  # <class 'bytes'>
# 序列化后的bytes数据可以写入文件中。

# loads 把任意bytes反序列化成为原来的数据
lst = pickle.loads(res)
print(lst)  # ['A', 'B', 'C']
print(type(lst))  # <class 'list'>

# 尝试反序列化其它的bytes数据
char = '你好'
by_char = char.encode()
new_char = pickle.loads(by_char)  # _pickle.UnpicklingError: invalid load key, '\xe4'.

dump & load

其含义与上述方法相同，区别在于可以直接操作IO对象，从而简化代码，省时省力。

import pickle

# 这是我想要保存的一段数据
lst = ['A', 'B', 'C']

# dumps 和 loads 配合文件操作
# 序列化后写入文件
with open('test.txt', 'wb') as fp:
    data = pickle.dumps(lst)
    fp.write(data)
# 读取文件反序列化
with open('test.txt', 'rb') as fp:
    data = fp.read()
    lst = pickle.loads(data)

# dump 和 load 配合文件操作
# 序列化写入文件
with open('test.txt', 'wb') as fp:
    pickle.dump(lst, fp)
# 读取文件反序列化
with open('test.txt', 'rb') as fp:
    lst = pickle.load(fp)

JSON序列化模块

import json

使用场景

若序列化后的数据需要在多种编程语言间流通，需考虑各语言的特性差异。某些语言特有的数据类型在序列化后如何保持通用性？

尽管各编程语言各有特色，但大多源自C语言体系。因此，采用统一标准序列化所有语言共有的数据格式即可实现互通，JSON标准由此诞生。

JSON数据通常存储为.json文件。

支持的数据类型

Python中支持JSON序列化的数据类型共有八种：

int、float、bool、str、list、tuple、dict、None

JSON序列化支持这几种数据类型是因为JSON中就只支持这几种数据类型：

如下为python中的数据类型对应json中的数据类型；

python数据类型	JSON数据类型
int	int
float	float
bool（True，False）	bool（true，false）
None	null
str	str（必须双引号）
list（[]）、tuple（()）	Array（[]）
dict（{}）	Object（{}）（键必须是双引号）

注意：

JSON中没有元组类型，所以会变成列表；
JSON中的对象必须使用字符串作为键，所以python中的字典数据中的非字符串键，会变成对应的JSON数据然后强转成为字符串；

import json
dict_var = {1: 1, 2.2: 2.2, False: True, '123': '123', "234": "234", None: None}
json_obj = json.dumps(dict_var)
dict_var = json.loads(json_obj)
print(dict_var)
# {'1': 1, '2.2': 2.2, 'false': True, '123': '123', '234': '234', 'null': None}

JSON和pickle的区别

JSON可以序列化python八种数据，序列化为字符串。

pickle可以序列化python所有的数据类型，序列化为字节流。

序列化函数

JSON序列化函数和pickle的一样，名称和使用方法基本一样：

方法	含义
dumps	序列化
loads	反序列化
dump	序列化写入文件
load	读取文件反序列化

这里注意一下序列化方法的几个常用参数：

ensure_assci 默认为True，以ACSII格式编码，以Unicode显示；

sort_keys 默认为True，对字典的键进行排序；

indent默认为None， json格式化默认是一行不加缩进的，如果indent是一个正整数，就以该缩进级别进行换行，增强可视化。

import json
# 开启排序
dict_var = {'B': '2', 'A': '1'}
print(dict_var)  # {'B': '2', 'A': '1'}
json_char = json.dumps(dict_var, ensure_ascii=False, sort_keys=True)
dict_var = json.loads(json_char)
print(dict_var)  # {'A': '1', 'B': '2'}
# 关闭排序
dict_var = {'B': '2', 'A': '1'}
print(dict_var)  # {'B': '2', 'A': '1'}
json_char = json.dumps(dict_var, ensure_ascii=False, sort_keys=False)
dict_var = json.loads(json_char)
print(dict_var)  # {'B': '2', 'A': '1'}
# dump 也一样哦

json和pickle实际使用过程中的一些问题

在对文件进行操作的时候：

json可以连续dump，但是不能连续load
pickle可以连续dump和load

如下解释：

# json 可以连续dump，但是不能连续load
import json
# 序列化数据
lst1 = [1, 2, 3]
lst2 = [4, 5, 6]
lst3 = [7, 8, 9]
# 序列化写入文件
with open('test.json', 'w', encoding='UTF-8') as fp:
    json.dump(lst1, fp)
    json.dump(lst2, fp)
    json.dump(lst3, fp)
# 读取文件反序列化
with open('test.json', 'r', encoding='UTF-8') as fp:
    data1 = json.load(fp)  # ERROR
    data2 = json.load(fp)
    data3 = json.load(fp)
# ！！！ json.decoder.JSONDecodeError: Extra data: line 1 column 10 (char 9)

因为 json.dump 方法序列化写入文件的时候，写入了两个及以上的数据，之后 json.load 方法在读的时候又是一次性将整个文件中的数据读取出来，这个时候，反序列化的数据成了 [1, 2, 3][4, 5, 6][7, 8, 9] ，这明显不是一个json支持的数据格式，所以 json.load 失败了。

再来看pickle是怎么样的：

# pickle 可以连续dump，也可以连续load
import pickle
# 序列化数据
lst1 = [1, 2, 3]
lst2 = [4, 5, 6]
lst3 = [7, 8, 9]
# 序列化写入文件
with open('pickle.txt', 'wb') as fp:
    pickle.dump(lst1, fp)
    pickle.dump(lst2, fp)
    pickle.dump(lst3, fp)
# 读取文件反序列化
with open('pickle.txt', 'rb') as fp:
    data1 = pickle.load(fp)  # [1, 2, 3]
    print(data1)
    data2 = pickle.load(fp)  # [4, 5, 6]
    print(data2)
    data3 = pickle.load(fp)  # [7, 8, 9]
    print(data3)
# 尝试先逐行读取，再反序列化
with open('pickle.txt', 'rb') as fp:
    datum = fp.readlines()
    print(len(datum))  # 1
    
    for data in datum:
        data = pickle.loads(data)
        print(data)  # [1, 2, 3]   # 只能读出一个

可以看到 pickle.load 将数据都读出来了，这是因为 pickle.dump 在写入数据的时候在每条数据后都加上了一个标记（有些人解释说是换行，但是文件中并没有换行，逐行使用 fp.readlines 逐行读取的时候也只能获取一条，但是在文件中所有的数据都是在同一行的，我也不太懂了(无奈)），然后 pickle.load 每次就只会读一条数据，从IO指针读到每条数据后的那个标记为止，所以，pickle 可以连续的 load。

怎么解决json的这个问题？

其实上面的这个问题，我个人认为是一种不规范的操作。因为 json.load 会一次性的读取整个文件中的内容，你却在一个文件中写入了不止一条的数据，那么在反序列化的时候当然会报错了。所以我认为：

json的主要作用多语言之前的数据传递和数据存储，每个JSON文件中最好只储存一条完整的数据。

但是我就想在一个json文件中存多个数据呢？

其实思路很简单，关键就是读取文件然后反序列化的时候，必须是一条数据、一条数据的反序列化，类似如下：

import json
# 序列化数据
lst1 = [1, 2, 3]
lst2 = [4, 5, 6]
lst3 = [7, 8, 9]
# 序列化写入文件，每写入一条数据插一个换行
with open('test.json', 'w', encoding='UTF-8') as fp:
    json.dump(lst1, fp)
    fp.write('\n')
    json.dump(lst2, fp)
    fp.write('\n')
    json.dump(lst3, fp)
# 读取文件反序列化（逐行读取数据，然后反序列化）
with open('test.json', 'r', encoding='UTF-8') as fp:
    datum = fp.readlines()
    print(len(datum))  # 3
    for data in datum:
        data = json.loads(data)
        print(data)  # [1, 2, 3]
                     # [4, 5, 6]
                     # [7, 8, 9]