Python 读取文本文件的三种常用方法：CSV、NumPy 与 Pandas

# example.md
1 2 3
4 5 6
7 8 9
 
>>> with open('example.md') as f:
        lines = f.readlines()
>>> lines
['1 2 3\n', '4 5 6\n', '7 8 9\n']
# 我们发现每一行后面都会有一个回车符，我们使用strip()函数消除它
>>> lines = [i.strip() for i in lines]
['1 2 3', '4 5 6', '7 8 9']
# 每个元素是一个string，但是我们需要读取的是文本数据，所以需要将string转化为int(or float)
>>> data = []
>>> for line in lines:
        data.append([int(i) for i in line.split(' ')])
[[1, 2, 3], [4, 5, 6], [7, 8, 9]]
# 最后可以把list转化为ndarray形式
>>> data = np.array(data)
>>> data
array([[1, 2, 3],
       [4, 5, 6],
       [7, 8, 9]])
# 把上述步骤写到一个函数里
>>> def read_file(file):
        """
        read .md or .txt format file
        :param file: .md or .txt format file
        :return: data
        """
        with open('example.md') as f:
            lines = f.readlines()
        data = []
        for line in lines:
            data.append([int(i) for i in line.strip().split(' ')])
        return np.array(data)
>>> data = read_file('example.md')
>>> data
array([[1, 2, 3],
       [4, 5, 6],
       [7, 8, 9]])

#使用python 库  求MD5
import hashlib
#求字符串MD5
md5 = hashlib.md5('字符串').hexdigest()
#求文件md5
file = open('文件'，'rb')
md5 = hashlib.md5(file.read())hexdigest()
file.close()

#python 利用mac/linex 终端命令求md5

def get_MD5(file_path):
    '''计算MD5'''
    files_md5 = os.popen('md5 %s' % file_path).read().strip()
    file_md5 = files_md5.replace('MD5 (%s) = ' % file_path, '')
    return file_md5

#如果是windows 系统 大概可以利用类似的方法 获取把  没做过测试

#当进行获取大量文件的md5的时候，建议使用 命令的方式获取，这样 运行速度会快很多

import csv
data = []
with open('E:/DataTest.txt', 'rt') as csvfile:
    reader = csv.reader(csvfile, delimiter=',')
    for row in reader:
        data.append(row)
    #输出结果是列表
    print(data)

import numpy as np 
data= np.loadtxt('E:/DataTest.txt',delimiter=',') 
#输出结果是numpy中数组格式
print(data)

df = pd.DataFrame(data)  
df.to_csv()
print(df)

import pandas as pd  
data= pd.read_csv('E:/DataTest.txt',names=['0', '1', '2'])
#输出结果是numpy中数组格式
print(data)