Python中NumPy数组保存与读取文件的三种方式详解

Aria

发布时间：2026-10-13 | 4人浏览过

原创

本文详细解析NumPy数组保存为文件的三种主流方式：TXT/CSV、NPY/NPZ以及HDF5。对比了各格式在维度支持、读写性能、是否支持多数组及内存占用等方面的优缺点，并提供了具体的代码示例，帮助开发者根据数据规模选择最优存储方案。

NumPy文件存取概述

将NumPy数组持久化到文件中，用户可以根据实际需求选择多种文件格式，不同的格式对应着特定的读写方法。

本文将重点介绍三种常见的NumPy文件读写类型：

TXT或CSV格式
NPY或NPZ格式
HDF5格式

TXT/CSV格式读写

利用NumPy库处理TXT或CSV文件


import numpy as np

a = np.array(range(20)).reshape((4, 5))
print(a)

# 后缀改为 .txt 一样
filename = 'data/a.csv'
# 写文件
np.savetxt(filename, a, fmt='%d', delimiter=',')

# 读文件
b = np.loadtxt(filename, dtype=np.int32, delimiter=',')
print(b)

该方法存在以下局限性：

仅支持保存一维和二维的NumPy数组。若数组a为多维结构，必须先通过a.reshape((a.shape[0], -1))进行重塑，方可使用此方式保存。
不支持追加保存模式。每次调用np.savetxt()都会覆盖文件中的现有内容。

NPY/NPZ格式读写

利用NumPy库处理NPY或NPZ文件

关于NPY文件的读写操作


import numpy as np

a = np.array(range(20)).reshape((2, 2, 5))
print(a)

filename = 'data/a.npy'
# 写文件
np.save(filename, a)

# 读文件
b = np.load(filename)
print(b)
print(b.shape)

该格式的优势包括：

NPY文件能够保存任意维度的NumPy数组，不受一维或二维的限制；
NPY格式完整保留了NumPy数组的结构信息，保存时的shape和dtype在读取时会原样恢复。

该格式的不足之处在于：

每次保存仅能存储单个NumPy数组，且会覆盖文件中已存在的内容（若存在）。

关于NPZ文件的读写操作


import numpy as np

a = np.array(range(20)).reshape((2, 2, 5))
b = np.array(range(20, 44)).reshape(2, 3 ,4)
print('a:\n', a)
print('b:\n', b)

filename = 'data/a.npz'
# 写文件， 如果不指定key，那么默认key为'arr_0'、'arr_1'，一直排下去。
np.savez(filename, a, b=b)

# 读文件
c = np.load(filename)
print('keys of NpzFile c:\n', c.keys())
print("c['arr_0']:\n", c['arr_0'])
print("c['b']:\n", c['b'])

该格式的优势包括：

NPZ文件同样支持保存任意维度的NumPy数组，不限于一维和二维；
NPZ格式保留了NumPy数组的结构，保存时的shape和dtype在读取时保持一致；
支持同时保存多个NumPy数组；
允许为保存的NumPy数组指定key，便于读取时准确获取，避免数据混乱。

该格式的不足之处在于：

保存多个NumPy数组时，必须一次性完成保存，例如使用np.savez(filename, a, b=b)。每次保存操作会覆盖文件中已存在的内容（若存在）。

HDF5格式读写

利用h5py库处理HDF5文件

HDF5格式的优势包括：

不限制NumPy数组的维度，能够保持数组结构和数据类型；
适用于大规模NumPy数组，生成的文件占用空间较小；
支持通过key访问dataset（可视为numpy.array），读取便捷且不易混乱；
支持不覆盖原文件中已存在的内容。

简单读取示例


import numpy as np
import h5py

a = np.array(range(20)).reshape((2, 2, 5))
b = np.array(range(20)).reshape((1, 4, 5))
print(a)
print(b)

filename = 'data/data.h5'
# 写文件
h5f = h5py.File(filename, 'w')
h5f.create_dataset('a', data=a)
h5f.create_dataset('b', data=b)
h5f.close()

# 读文件
h5f = h5py.File(filename, 'r')
print(type(h5f))
# 通过切片得到numpy数组
print(h5f['a'][:])
print(h5f['b'][:])
h5f.close()

通过切片赋值操作


import numpy as np
import h5py

a = np.array(range(20)).reshape((2, 2, 5))
print(a)

filename = 'data/a.h5'
# 写文件
h5f = h5py.File(filename, 'w')
# 当数组a太大，需要切片进行操作时，可以不直接对h5f['a']进行初始化；
# 当之后不需要改变h5f['a']的shape时，可以省略maxshape参数
h5f.create_dataset('a', shape=(2, 2, 5), maxshape=(None, 2, 5), dtype=np.int32, compression='gzip')
for i in range(2):
  # 采用切片的形式赋值
  h5f['a'][i] = a[i]
h5f.close()

# 读文件
h5f = h5py.File(filename, 'r')
print(type(h5f))
print(h5f['a'])
# 通过切片得到numpy数组
print(h5f['a'][:])

同一个HDF5文件可以创建多个dataset，读取时依据key进行区分即可。

总结与最佳实践

总结

CSV和TXT格式仅适用于存储一维或二维的NumPy数组；
NPY格式用于存储单个NumPy数组，而NPZ格式可同时存储多个数组。两者均不限定NumPy数组的维度，且能保持数组的shape和dtype。在写入文件时，若原文件已存在，只能覆盖原文件内容；
当NumPy数组规模较大时，推荐使用HDF5文件格式，因为HDF5文件相对更节省空间；
当NumPy数组规模较大时，直接对整个数组进行运算可能引发MemoryError。此时可选择对NumPy数组进行切片，将运算后的结果保存到HDF5文件中，HDF5文件支持切片索引操作。

以上为本文的全部内容，希望对读者的学习有所帮助，也欢迎大家继续支持本站。