Python中npy格式数据的存储与读取完整指南
本文详细介绍Python中如何使用numpy库进行npy格式数据的存储与读取。通过np.save和np.load函数，可轻松处理列表、字典及多维数组。此外，文章还涵盖了将.mat文件转换为npy以及反向转换的具体代码实现，重点解析了h5py处理v7.3格式时的转置问题及scipy库的替代方案，为数据科学工作流提供实用参考。
npy数据的基本存储与读取
在数据处理流程中，核心操作主要依赖于两个关键函数。
首先是保存数据，使用np.save(“test.npy”，数据结构）指令将指定的数据结构写入名为test.npy的文件中。
其次是读取数据，通过data =np.load('test.npy')语句从文件中加载之前保存的数据至变量data。
列表与字典数据的存储示例
以下提供两个具体的应用示例，演示如何存储列表类型的数据。
第一个示例展示了存储包含嵌套列表和字符串的对象数组。
z = [[[1, 2, 3], ['w']], [[1, 2, 3], ['w']]]
np.save('test.npy', z)
x = np.load('test.npy')
x:
->array([[list([1, 2, 3]), list(['w'])],
[list([1, 2, 3]), list(['w'])]], dtype=object)
第二个示例演示了如何存储字典结构的数据。
x
-> {0: 'wpy', 1: 'scg'}
np.save('test.npy',x)
x = np.load('test.npy')
x
->array({0: 'wpy', 1: 'scg'}, dtype=object)当以字典格式保存数据并在读取后，若需将其还原为标准的Python字典对象，必须先执行特定的转换操作。
调用data.item()方法。
该操作旨在将读取到的numpy.ndarray对象转换为标准的Python dict字典格式，以便后续直接使用。
mat与npy文件的相互转换
补充知识：关于Python读取mat文件或npy文件，以及实现mat文件与npy文件相互转换的方法。
具体步骤为读取mat文件并将其保存为npy格式文件。
详细实现见代码部分，需特别注意h5py库在处理MATLAB v7.3格式文件时涉及的矩阵转置问题。
import numpy as np
from scipy import io
mat = io.loadmat('yourfile.mat')
# 如果报错:Please use HDF reader for matlab v7.3 files
# 改为下一种方式读取
import h5py
mat = h5py.File('yourfile.mat')
# mat文件里可能有多个cell，各对应着一个dataset
# 可以用keys方法查看cell的名字, 现在要用list(mat.keys()),
# 另外，读取要用data = mat.get('名字'), 然后可以再用Numpy转为array
print(mat.keys())
# 可以用values方法查看各个cell的信息
print(mat.values())
# 可以用shape查看维度信息
print(mat['your_dataset_name'].shape)
# 注意，这里看到的shape信息与你在matlab打开的不同
# 这里的矩阵是matlab打开时矩阵的转置
# 所以，我们需要将它转置回来
mat_t = np.transpose(mat['your_dataset_name'])
# mat_t 是numpy.ndarray格式
# 再将其存为npy格式文件
np.save('yourfile.npy', mat_t)
npy文件的读取过程相对简单直接。
import numpy as np
matrix = np.load('yourfile.npy')
同样可以将npy文件重新保存为mat文件，以下是两种实现方法。
方法一：在MATLAB中直接双击打开时可能遇到错误提示“Unable to read MAT-file *********.mat. Not a binary MAT-file. Try load -ASCII to read as text.”，此时可尝试使用load -ASCII命令以文本方式读取。
import numpy as np
matrix = np.load('yourfile.npy')
f = h5py.File('yourfile.mat', 'w')
f.create_dataset('dataname', data=matrix)
# 这里不会将数据转置
方法二：利用Python中的scipy库进行转换。
from scipy import io
mat = np.load('rlt_gene_features.npy-layer-3-train.npy')
io.savemat('gene_features.mat', {'gene_features': mat})
以上关于Python存取npy格式数据的实例分享完毕，希望能为读者提供有效的参考，并欢迎大家继续支持本站获取更多技术内容。
本站声明
本文内容仅供参考，不代表本站观点。转载或引用请注明出处。如发现内容问题，请通过联系我们页面反馈。
