Python NumPy文件存取实战：npy、npz与txt格式详解

NumPy文件存取概述

NumPy库提供了丰富的文件操作函数，用于保存和读取数组数据。这些文件可以是二进制格式，也可以是文本格式。在二进制格式中，又细分为NumPy专用的格式化二进制类型和无格式二进制类型。

使用NumPy专用格式保存的文件，其扩展名通常为.npy或.npz。

二进制格式：tofile与fromfile

1. tofile()和fromfile()函数

• tofile()函数负责将数组中的数据以二进制格式写入指定文件。
• 需要注意的是，tofile()输出的数据不包含数组的形状和元素类型等元信息。
• 因此，使用fromfile()函数读回数据时，用户必须手动指定元素类型，并对数组形状进行适当调整，以还原原始数据结构。

import numpy as np
 
# 随机生成12个数字并将其有一维转换成3*4的矩阵形式
a = np.arange(12)
print("一维数组:",a)
a.shape = 3,4
print("3*4的矩阵:",a)
 
# 将数组中的数据以二进制格式写入到文件
a.tofile('a.bin')
# fromfile在读取numpy文件时需要自己指定数据格式,并且原格式并为保存
b1 = np.fromfile('a.bin', dtype=np.float) # 按照float读取数据
b2 = np.fromfile('a.bin', dtype=np.int) # 按照int读取数据
b3 = np.fromfile('a.bin', dtype=np.int32) # 按照int32读取数据
print('float格式b1:{},\nint格式b2:{},\nint32格式b3:{}'.format(b1,b2,b3))
 
b3.shape = 3,4
print('b3:',b3)

专用二进制格式：save、load与savez

2. save()、load()和savez()函数

• NumPy专用的二进制格式能够自动处理元素类型和形状等关键信息，简化了数据保存过程。
• 若需将多个数组保存到同一个文件中，可以使用savez()函数。
• savez()函数的第一个参数为文件名，后续参数为需要保存的数组。此外，还可以使用关键字参数为特定的数组指定名称。
• 对于未使用关键字参数命名的数组，系统会自动分配arr_0、arr_1等名称。
• savez()生成的是扩展名为.npz的压缩文件，其中包含多个独立的.npy文件，每个文件对应一个save()保存的数组，文件名与数组名一致。
• load()函数能够自动识别.npz文件，并返回一个类似字典的对象。用户可以通过数组名作为键，直接获取对应的数组内容。

import numpy as np
 
a = np.arange(12)
a.shape = 3,4
# 将数据存储为npy/npz
np.save('a.npy', a)
np.save('a.npz', a)
c = np.load('a.npy')
print('save-load：',c)
 
# 存储多个数组
b1 = np.array([[6, 66, 666],[888, 88,8]])
b2 = np.arange(0, 1.0, 0.1)
c2 = np.sin(b2)
np.savez('result.npz', b1,b2,sin_arry = c)
c3 = np.load('result.npz') # npz文件时一个压缩文件
print(c3)
print("数组b1:{}\n数组b2：{}\n数组sin_arry:{}".format(c3['arr_0'],c3['arr_1'],c3['sin_arry']))

文本格式：savetxt与loadtxt

3. savetxt()和loadtxt()函数

• 这两个函数主要用于读写一维和二维数组的文本文件。
• 它们同样适用于读写CSV格式的文本文件，便于数据交换。

深度学习中的数据存储优势

这种存储方式在深度学习中尤为实用，可以将训练集、验证集、测试集及其标签统一存储。按需加载数据不仅减少了文件数量，还避免了频繁修改文件名的麻烦，是一种高效的数据管理方式。

参考：https://www.cnblogs.com/wushaogui/p/9142019.html

https://www.cnblogs.com/dmir/p/5009075.html

本文介绍了Python利用NumPy进行文件存取的案例教程。如需了解更多Python相关内容，建议查阅本站过往文章或继续浏览后续教程，感谢大家的支持。