python必背源代码读写CSV文件csv代码

巷口听风
巷口听风
发布时间:2026-11-20 | 9人浏览过
原创

深入详解Python内置csv模块读写CSV文件的核心必背源代码。包含csv.reader、csv.writer列表模式,csv.DictReader、csv.DictWriter字典模式,以及跨平台换行newline与Excel中文乱码底层机制解析。

Python 标准库 无三方依赖 RFC 4180 标准支持
在Python中处理CSV(逗号分隔值)文件,最稳妥、轻量且无须额外安装任何三方库的方式是使用Python内置的 csv 模块。读者只需牢记四套核心代码骨架即可覆盖大部分开发需求:按列表行读取的 csv.reader、按列表行写入的 csv.writer,以及通过表头键名操作的 csv.DictReader 与 csv.DictWriter。在文件打开阶段配合 open() 函数的 newline='' 与编码参数(如 utf-8 或针对Excel环境的 utf-8-sig),能够彻底杜绝跨平台额外空行与中文乱码两大核心隐患。
python必背源代码读写CSV文件csv代码
图 0:Python 内置 csv 模块数据结构流转与核心处理全景

一、基于列表的基础读写代码(csv.reader 与 csv.writer)

列表读写模式将CSV中的每一行映射为一个纯字符串列表(list[str])。该模式运行速度快、内存开销极小,适合列结构固定、列数较少或不需要依赖表头语义的场景。

1. 必背读取代码:逐行读取并跳过表头

使用 csv.reader() 包装打开的文件对象。该对象本身是一个迭代器,直接使用 next() 可以读取并消费第一行表头,随后通过 for 循环按行迭代数据:

import csv

# 1. 必背读取源代码(列表模式)
file_path = 'data.csv'

with open(file_path, mode='r', encoding='utf-8') as f:
    reader = csv.reader(f)
    
    # 获取表头(如果第一行是列名)
    header = next(reader)
    print("表头字段:", header)
    
    # 逐行读取数据行,row 为字符串列表
    for row in reader:
        # 示例输出:['101', '张三', '技术部', '95.5']
        user_id = row[0]
        user_name = row[1]
        print(f"工号: {user_id}, 姓名: {user_name}")
代码解析要点

csv.reader 是惰性求值的生成器,它不会一次性把整个文件载入内存,即使读取数吉字节(GB)的日志文件也能保持恒定的内存占用(O(1) 空间复杂度)。切忌在没有必要时编写 lines = list(reader),这会强行将所有行实例化为内存列表,失去生成器的内存优势。

2. 必背写入代码:单行写入与多行批量写入

写入CSV时,使用 csv.writer() 包装写模式打开的文件。写入单行使用 writerow(),写入包含多个列表的二维结构使用 writerows():

import csv

# 2. 必背写入源代码(列表模式)
header = ['id', 'name', 'department', 'score']
rows = [
    ['101', '张三', '技术部', '95.5'],
    ['102', '李四', '运营部', '88.0'],
    ['103', '王五', '设计部', '92.3']
]

# 注意:写入时必须显式设置 newline=''
with open('output_list.csv', mode='w', encoding='utf-8', newline='') as f:
    writer = csv.writer(f)
    
    # 写入单行表头
    writer.writerow(header)
    
    # 批量写入所有数据行
    writer.writerows(rows)
python必背源代码读写CSV文件csv代码
图 1:Python CSV 标准操作流程链路图(步骤拆解与关键防错)

二、基于字典的结构化读写代码(DictReader 与 DictWriter)

在实际业务脚本中,CSV文件的列数往往很多,或者上游数据源可能会调整列的物理排布顺序。如果继续依赖下标 row[0]、row[1] 访问,一旦增删列就会导致全局逻辑错乱。此时应当使用字典模式。

1. 必背字典读取:csv.DictReader

DictReader 会默认将文件首行解析为字典的键(Keys),随后的每一行都映射为一个标准字典。读取者直接使用字段名提取数据,代码具备自解释性:

import csv

# 3. 必背字典读取源代码
with open('data.csv', mode='r', encoding='utf-8') as f:
    dict_reader = csv.DictReader(f)
    
    # 查看自动解析到的列名列表
    print("检测到字段列:", dict_reader.fieldnames)
    
    for row in dict_reader:
        # row 是一个字典,例如 {'id': '101', 'name': '张三', 'score': '95.5'}
        name = row['name']
        score = float(row['score'])
        print(f"学员: {name}, 成绩: {score}")

2. 必背字典写入:csv.DictWriter

使用 DictWriter 写入时,必须在初始化时明确传入 fieldnames 参数来约束列名和列序,并且要在写入数据前显式调用 writeheader() 写入首行表头:

import csv

# 4. 必背字典写入源代码
fieldnames = ['user_id', 'user_name', 'department']

data_records = [
    {'user_id': 'U1001', 'user_name': '赵六', 'department': '财务部'},
    {'user_id': 'U1002', 'user_name': '钱七', 'department': '市场部'},
    {'user_id': 'U1003', 'user_name': '孙八', 'department': '运维部'}
]

with open('output_dict.csv', mode='w', encoding='utf-8', newline='') as f:
    writer = csv.DictWriter(f, fieldnames=fieldnames)
    
    # 必须显式执行此行以输出首行表头
    writer.writeheader()
    
    # 批量写入字典列表
    writer.writerows(data_records)
python必背源代码读写CSV文件csv代码
图 2:列表模式 (csv.reader/writer) 与字典模式 (DictReader/DictWriter) 关键特性对比

三、必背防坑机制:换行符与字符编码深度解析

许多开发者遇到过生成的CSV在打开后“每隔一行就多出一个空白行”,或者将文件分发给非技术同事使用微软Excel打开时“所有中文字符全变成问号或火星文”。这两个问题并非逻辑代码出错,而是因为没有理解底层字符协议。

1. 为什么写入时必须设置 newline=''

按照国际通用标准 RFC 4180,CSV文件的换行规范是回车换行符 。Python的 csv.writer 在内部组装好每一行后,会自动在其末尾附带 。

而在操作系统层面,Python的内置 open() 函数在默认情况下启用了通用换行符模式。在Windows平台下,底层C运行时库会自动把写入流中的每个 转换成 。

如果写入时不加 newline='',就会发生叠加转换:csv.writer 输出了 ,底层的 open() 发现里面有一个 ,便再次把它替换为 ,最终落盘在文件里的变成了 。许多编辑器和解析器解析到连续的 与 时,就会将其当成两行,从而产生多余的空白空行。加上 newline='' 之后,底层文本流便不再篡改换行符,由 csv 模块完全管控。

2. 为什么给Excel查看时推荐 encoding='utf-8-sig'

标准的 utf-8 文件是不带 BOM(字节顺序标记,Byte Order Mark)的纯文本。然而,Windows平台下的微软Excel在直接双击打开 .csv 文件时,出于历史兼容性考虑,默认会使用操作系统的本地ANSI代码页(例如简体中文Windows下的 GBK / CP936)进行解码。此时,UTF-8编码的中文字节就会被误认为GBK编码,从而呈现为完全不可读的乱码。

如果你的CSV文件需要交付给人用Excel直接双击查看,应当在 open() 中将编码指定为 encoding='utf-8-sig'。该编码会在文件最开头写入三个字节的签名 。Excel读取到该签名后,便会强制切换至UTF-8模式渲染,中文显示完美无瑕。

python必背源代码读写CSV文件csv代码
图 3:底层机制剖析(newline 换行叠加错误与 Excel UTF-8 BOM 乱码机理)

四、特殊场景进阶与避坑法则

1. 严禁用 str.split(',') 代替 csv.reader

CSV绝非简单的“逗号拼接文本”。当某个单元格本身包含逗号(例如英文句子 "Beijing, China")或者包含双引号、回车换行符时,RFC 4180规范要求必须使用双引号将该字段完整包裹起来,并且内部的双引号使用双重双引号 "" 进行转义。

如果使用简单的 line.split(',') 切割字符串,遇到这类内容时列数会瞬间分裂错位,导致下游数据全面污染。内置 csv 模块已在底层的C加速扩展中严格实现了标准解析,能够透明处理所有嵌套逗号与转义引号。

2. 处理制表符 TSV 或分号分隔文件

如果遇到以制表符( )或分号(;)分隔的文件,无需寻找其他库,直接传入 delimiter 关键字参数即可:

import csv

# 读取制表符分隔的 TSV 文件
with open('data.tsv', 'r', encoding='utf-8') as f:
    reader = csv.reader(f, delimiter='\t')
    for row in reader:
        print(row)

3. 所有读出的值默认均为字符串

csv 模块本身不负责推断字段类型。无论是数字 100、浮点数 3.14 还是布尔值 True,读取出来的一律是 Python 的 str 类型。涉及数值计算、排序或比较前,必须在代码中进行显式转换,例如 int(row['age'])。

python必背源代码读写CSV文件csv代码
图 4:Python CSV 核心代码骨架速查决策图

五、核心模板选型速查表

处理目标 核心工具类 标准打开参数 数据格式 核心优势与适用场景
简单读取 csv.reader mode='r', encoding='utf-8' list[str] 极致轻量,适合日志扫描、无表头文本或行索引固定的数据
简单写入 csv.writer mode='w', encoding='utf-8', newline='' list[str] 直接写入列表,速度极快;必须加 newline='' 防空行
结构化读取 csv.DictReader mode='r', encoding='utf-8' dict 首行自动映射为键,抗增删列干扰,业务脚本高可读性首选
结构化写入 csv.DictWriter mode='w', encoding='utf-8-sig', newline='' dict 需显式指定 fieldnames 并调用 writeheader();防乱码与空行
相关专题:

本站声明

本文内容仅供参考,不代表本站观点。转载或引用请注明出处。如发现内容问题,请通过联系我们页面反馈。

Python 相关产品和应用

全部下载

专题列表