Python序列化存储详解:pickle模块使用指南
本文介绍Python中变量从内存到磁盘的序列化(pickling)及反序列化过程。通过对比cPickle与pickle模块的性能差异,演示如何使用dumps、dump、loads和load方法实现对象的持久化存储与读取,并指出pickle仅限Python使用的局限性。
在程序运行期间,所有变量均驻留在内存中。例如,定义一个字典:
d = dict(name='Bob', age=20, score=88)
变量值可随时修改,如将name改为'Bill'。但程序终止后,操作系统会回收变量占用的内存。若未将修改后的'Bill'保存至磁盘,再次运行程序时,变量将重新初始化为'Bob'。
将内存中的变量转换为可存储或传输格式的过程称为序列化。在Python中称为pickling,其他语言中常称为serialization、marshalling或flattening,含义相同。
序列化后的内容可写入磁盘,或通过网络传输至其他设备。
反之,将序列化对象重新加载至内存的过程称为反序列化,即unpickling。
Python提供cPickle和pickle两个模块实现序列化。两者功能一致,区别在于cPickle由C语言编写,执行速度更快;pickle为纯Python实现,速度较慢,这与cStringIO和StringIO的关系类似。使用时应先尝试导入cPickle,若失败则回退至pickle:
try: import cPickle as pickle except ImportError: import pickle
首先,尝试将一个对象序列化并写入文件:
>>> d = dict(name='Bob', age=20, score=88) >>> pickle.dumps(d) "(dp0\nS'age'\np1\nI20\nsS'score'\np2\nI88\nsS'name'\np3\nS'Bob'\np4\ns."
使用pickle.dumps()方法可将任意对象序列化为字符串(str),随后可将该字符串写入文件。或者使用pickle.dump()方法,直接将对象序列化后写入类文件对象(file-like Object):
>>> f = open('dump.txt', 'wb')
>>> pickle.dump(d, f)
>>> f.close()
查看生成的dump.txt文件,内容为看似杂乱的数据,这些是Python保存的对象内部信息。
当需要从磁盘将对象读回内存时,可先将内容读取为字符串,再使用pickle.loads()方法反序列化出对象;也可直接使用pickle.load()方法从类文件对象中直接反序列化。我们在另一个Python命令行中反序列化之前保存的对象:
>>> f = open('dump.txt', 'rb')
>>> d = pickle.load(f)
>>> f.close()
>>> d
{'age': 20, 'score': 88, 'name': 'Bob'}
变量内容恢复!
需注意,该变量与原始变量是完全不同的对象,仅内容相同。
Pickle与其他语言特有的序列化问题类似,仅适用于Python,且不同Python版本间可能不兼容。因此,Pickle仅建议用于保存非重要数据,即使无法成功反序列化也可接受。
本站声明
本文内容仅供参考,不代表本站观点。转载或引用请注明出处。如发现内容问题,请通过联系我们页面反馈。













