Python高效读取文本文件：字典与列表模式详解

键盘旁的猫

发布时间：2026-10-13 | 2人浏览过

原创

本文介绍Python中处理文本数据的两种优雅方式：字典模式和列表模式。通过预先配置字段模式，将文件列映射为变量，避免硬编码下标带来的维护难题。文章提供完整代码示例，展示如何利用生成器逐行读取及按模式装配数据，适用于Hadoop Streaming等复杂场景，提升代码可读性与健壮性。

前言

在Python中处理文本数据具有显著优势，其简洁的读取、分割、过滤和转换功能，使开发者无需像Java那样处理复杂的流文件逻辑。在实际工作中，无论是复杂的文本数据计算，还是在Hadoop平台上编写Streaming程序，Python都是博主的首选工具。

文本处理的第一步通常是将文件加载到内存，这涉及如何将文件中的特定列映射到具体变量。最基础的方法是直接通过字段下标进行引用，例如：

# fields是读取了一行，并且按照分隔符分割之后的列表
user_id = fields[0]
user_name = fields[1]
user_type = fields[2]

若采用上述方式读取文件，一旦文件列的顺序调整或增减列，代码维护将变得极其困难。这种写法应当被严格禁止。

本文推荐两种更为优雅的数据读取方式：先配置字段模式，再依据模式读取数据。这两种模式分别为字典模式和列表模式。

读取文件时，需按分隔符将每行数据分割为字段列表。

首先读取文件，依据分隔符将每一行的数据分割，返回字段列表，以便后续处理。

具体实现代码如下：

def read_file_data(filepath):
 '''根据路径按行读取文件, 参数filepath：文件的绝对路径
 @param filepath: 读取文件的路径
 @return: 按\t分割后的每行的数据列表
 '''
 fin = open(filepath, 'r')
 for line in fin:
  try:
   line = line[:-1]
   if not line: continue
  except:
   continue
  
  try:
   fields = line.split("\t")
  except:
   continue
  # 抛出当前行的分割列表
  yield fields
 fin.close()

利用yield关键字，每次生成单行的分割数据，这样在调度程序中可以通过for fields in read_file_data(fpath)的方式逐行读取数据。

映射到模型的方法一：使用配置好的字典模式装配读取的数据列表。

该方法配置一个包含“字段名”与“字段位置”的字典作为数据模式，随后依据该模式装配读取的列表数据，最终实现通过字典访问数据。

所涉及的函数如下：

@staticmethod
def map_fields_dict_schema(fields, dict_schema):
 """根据字段的模式，返回模式和数据值的对应值；例如 fields为['a','b','c'],schema为{'name':0, 'age':1}，那么就返回{'name':'a','age':'b'}
 @param fields: 包含有数据的数组，一般是通过对一个Line String通过按照\t分割得到
 @param dict_schema: 一个词典，key是字段名称，value是字段的位置；
 @return: 词典，key是字段名称，value是字段值
 """
 pdict = {}
 for fstr, findex in dict_schema.iteritems():
  pdict[fstr] = str(fields[int(findex)])
 return pdict

结合上述方法与之前的读取逻辑，可以采用以下方式读取数据：

# coding:utf8
"""
@author: www.crazyant.net
测试使用字典模式加载数据列表
优点：对于多列文件，只通过配置需要读取的字段，就能读取对应列的数据
缺点：如果字段较多，每个字段的位置配置，较为麻烦
"""
import file_util
import pprint
 
# 配置好的要读取的字典模式，可以只配置自己关心的列的位置
dict_schema = {"userid":0, "username":1, "usertype":2}
for fields in file_util.FileUtil.read_file_data("userfile.txt"):
 # 将字段列表，按照字典模式进行映射
 dict_fields = file_util.FileUtil.map_fields_dict_schema(fields, dict_schema)
 pprint.pprint(dict_fields)

运行输出结果如下：

{'userid': '1', 'username': 'name1', 'usertype': '0'}
{'userid': '2', 'username': 'name2', 'usertype': '1'}
{'userid': '3', 'username': 'name3', 'usertype': '2'}
{'userid': '4', 'username': 'name4', 'usertype': '3'}
{'userid': '5', 'username': 'name5', 'usertype': '4'}
{'userid': '6', 'username': 'name6', 'usertype': '5'}
{'userid': '7', 'username': 'name7', 'usertype': '6'}
{'userid': '8', 'username': 'name8', 'usertype': '7'}
{'userid': '9', 'username': 'name9', 'usertype': '8'}
{'userid': '10', 'username': 'name10', 'usertype': '9'}
{'userid': '11', 'username': 'name11', 'usertype': '10'}
{'userid': '12', 'username': 'name12', 'usertype': '11'}

映射到模型的方法二：使用配置好的列表模式装配读取的数据列表。

若需读取文件的所有列或前若干列，配置字典模式略显繁琐，因为需要为每个字段手动配置从0开始的索引位置，这属于低效劳动，应当避免。

列表模式应运而生：先将配置好的列表模式转换为字典模式，再按字典模式加载数据即可实现。

模式转换及按列表模式读取的代码如下：

@staticmethod
def transform_list_to_dict(para_list):
 """把['a', 'b']转换成{'a':0, 'b':1}的形式
 @param para_list: 列表，里面是每个列对应的字段名
 @return: 字典，里面是字段名和位置的映射
 """
 res_dict = {}
 idx = 0
 while idx < len(para_list):
  res_dict[str(para_list[idx]).strip()] = idx
  idx += 1
 return res_dict
 
@staticmethod
def map_fields_list_schema(fields, list_schema):
 """根据字段的模式，返回模式和数据值的对应值；例如 fields为['a','b','c'],schema为{'name', 'age'}，那么就返回{'name':'a','age':'b'}
 @param fields: 包含有数据的数组，一般是通过对一个Line String通过按照\t分割得到
 @param list_schema: 列名称的列表list
 @return: 词典，key是字段名称，value是字段值
 """
 dict_schema = FileUtil.transform_list_to_dict(list_schema)
 return FileUtil.map_fields_dict_schema(fields, dict_schema)

使用时，可直接以列表形式配置模式，无需指定索引，更加简洁：

# coding:utf8
"""
@author: www.crazyant.net
测试使用列表模式加载数据列表
优点：如果读取所有列，用列表模式只需要按顺序写出各个列的字段名就可以
缺点：不能够只读取关心的字段，需要全部读取
"""
import file_util
import pprint
 
# 配置好的要读取的列表模式，只能配置前面的列，或者所有咧
list_schema = ["userid", "username", "usertype"]
for fields in file_util.FileUtil.read_file_data("userfile.txt"):
 # 将字段列表，按照字典模式进行映射
 dict_fields = file_util.FileUtil.map_fields_list_schema(fields, list_schema)
 pprint.pprint(dict_fields)

其运行结果与字典模式完全一致。

file_util.py完整代码

以下是file_util.py中的全部代码，可将其纳入个人公用类库中使用。

# -*- encoding:utf8 -*-
'''
@author: www.crazyant.net
@version: 2014-12-5
'''
 
class FileUtil(object):
 '''文件、路径常用操作方法
 '''
 @staticmethod
 def read_file_data(filepath):
  '''根据路径按行读取文件, 参数filepath：文件的绝对路径
  @param filepath: 读取文件的路径
  @return: 按\t分割后的每行的数据列表
  '''
  fin = open(filepath, 'r')
  for line in fin:
   try:
    line = line[:-1]
    if not line: continue
   except:
    continue
   
   try:
    fields = line.split("\t")
   except:
    continue
   # 抛出当前行的分割列表
   yield fields
  fin.close()
 
 @staticmethod
 def transform_list_to_dict(para_list):
  """把['a', 'b']转换成{'a':0, 'b':1}的形式
  @param para_list: 列表，里面是每个列对应的字段名
  @return: 字典，里面是字段名和位置的映射
  """
  res_dict = {}
  idx = 0
  while idx < len(para_list):
   res_dict[str(para_list[idx]).strip()] = idx
   idx += 1
  return res_dict
 
 @staticmethod
 def map_fields_list_schema(fields, list_schema):
  """根据字段的模式，返回模式和数据值的对应值；例如 fields为['a','b','c'],schema为{'name', 'age'}，那么就返回{'name':'a','age':'b'}
  @param fields: 包含有数据的数组，一般是通过对一个Line String通过按照\t分割得到
  @param list_schema: 列名称的列表list
  @return: 词典，key是字段名称，value是字段值
  """
  dict_schema = FileUtil.transform_list_to_dict(list_schema)
  return FileUtil.map_fields_dict_schema(fields, dict_schema)
 
@staticmethod
def map_fields_dict_schema(fields, dict_schema):
 """根据字段的模式，返回模式和数据值的对应值；例如 fields为['a','b','c'],schema为{'name':0, 'age':1}，那么就返回{'name':'a','age':'b'}
 @param fields: 包含有数据的数组，一般是通过对一个Line String通过按照\t分割得到
 @param dict_schema: 一个词典，key是字段名称，value是字段的位置；
 @return: 词典，key是字段名称，value是字段值
 """
 pdict = {}
 for fstr, findex in dict_schema.iteritems():
  pdict[fstr] = str(fields[int(findex)])
 return pdict

总结

以上就是本文的全部内容，希望这些内容能对大家学习或使用Python有所帮助。如有任何疑问，欢迎留言交流。