Golang 按行读取文件的三种方法详解

结果或目标

Golang 提供了强大的 io 和 bufio 包来处理文件输入输出。对于大型文本文件，一次性加载到内存可能导致 OOM（内存溢出），因此按行流式读取是最佳实践。我们将探讨如何实现这一目标，并比较不同 API 的差异。

准备条件

• 安装配置好的 Go 环境（推荐 1.16+ 版本）。
• 一个包含多行文本的测试文件，例如 test.txt。
• 基本的 Go 语言语法知识，熟悉 struct、interface 和 error 处理。

真实操作顺序

第1步：使用 bufio.Scanner 逐行扫描

目的：利用 Scanner 内置的缓冲管理和默认换行符分割功能，快速简单地读取所有行。这是大多数场景下的首选方案。

操作：

1. 打开文件：os.Open(path)。
2. 创建 Scanner：bufio.NewScanner(file)，默认缓冲区大小为 64KB，最大 Token 长度也为 64KB。
3. 循环调用 Scan()：该方法返回 bool 值，成功时为 true，并将当前 Token（行）存入 Scanner 内部。
4. 获取内容：scanner.Text() 返回去除换行符后的字符串。
5. 检查错误：循环结束后调用 scanner.Err() 判断是否有读取异常。

func ReadLinesByScanner(path string) ([]string, error) {
	file, err := os.Open(path)
	if err != nil {
		return nil, err
	}
	defer file.Close()

	var lines []string
	scanner := bufio.NewScanner(file)
	// 注意：如果行超过 64KB，需先设置 scanner.Buffer()
	for scanner.Scan() {
		lines = append(lines, scanner.Text())
	}
	return lines, scanner.Err()
}

注意：默认情况下，Scanner 无法处理超过 64KB 的单行数据。若需读取超长行，需预先调整缓冲区大小。

第2步：使用 bufio.Reader 的 ReadString 方法

目的：在需要自定义分隔符或希望更精细控制读取过程时，使用 Reader 配合 ReadString/ReadBytes。此方法比 Scanner 稍显繁琐，但灵活性更高。

操作：

1. 打开文件并使用 bufio.NewReader(file) 包装。
2. 循环调用 reader.ReadString('\n') 或 ReadBytes('\n')。
3. 处理返回值：ReadString` 返回 (string, error)`。当到达文件末尾时，会返回已读取的内容和 io.EOF 错误。
4. 特殊处理 EOF：ReadString` 在遇到 EOF 时仍会返回部分数据（若非空），需判断 err == io.EOF 来追加最后一行可能未含换行符的数据。

func ReadLinesByReader(path string) ([]string, error) {
	file, err := os.Open(path)
	if err != nil {
		return nil, err
	}
	defer file.Close()

	var lines []string
	reader := bufio.NewReader(file)
	for {
		line, err := reader.ReadString('\n')
		if err != nil {
			if err == io.EOF {
				// 最后一行如果没有换行符，ReadString 也会报错，但线是有内容的
				if len(line) > 0 {
					lines = append(lines, line)
				}
				break
			}
			return lines, err
		}
		// 去掉末尾的换行符
		lines = append(lines, strings.TrimSuffix(line, "\n"))
	}
	return lines, nil
}

优势：可以指定任意单字节作为分隔符，适合非标准格式文件。

第3步：使用 bufio.Reader 的 ReadLine 方法（不推荐）

目的：了解低级原语，但在绝大多数业务场景中应避免直接调用 ReadLine。

操作与风险：

• ReadLine 是一个低级函数，返回 (line []byte, isPrefix bool, err error)。如果一行超过缓冲区，它会标记 isPrefix=true 并返回部分数据，调用者必须自行合并片段，逻辑复杂。
• Golang 官方文档明确指出："Most callers should use ReadBytes('\n') or ReadString('\n') instead or use a Scanner."

// 仅展示签名，不建议直接使用
// func (r *Reader) ReadLine() (line []byte, isPrefix bool, err error)

完成判断与优化建议

在实际项目中，推荐使用 bufio.Scanner，因为它的 API 最简洁且经过充分测试。除非你有以下特殊情况，否则无需自行实现复杂的读取逻辑：

• 需要读取超过 64KB 的单行（此时需手动扩容 Scanner 缓冲区）。
• 需要自定义复杂的行分隔符（如 \r\n 混合或其他字符）。

为了便于复用，上述代码逻辑可封装至工具库中。例如，github.com/dablelv/go-huge-util/file 仓库提供了标准化的 ReadLines 函数，支持批量处理和高并发场景。

原文有依据的排错

• 问题：程序在读到大文件时报 scan too long 错误。
  解决：这是 Scanner 默认的 64KB 限制。解决方法是在 Scan 前调用 scanner.Buffer(buf, maxCapacity) 增大缓冲区。
• 问题：最后一行丢失。
  解决：通常是因为文件末尾没有换行符。在使用 ReadString 时需单独处理 io.EOF 时的残留数据；使用 Scanner 则会自动处理最后一行，无论是否以换行符结尾。

简要总结

Golang 按行读取文件主要依赖 bufio 包。虽然 ReadLine 可用但不推荐，ReadString 灵活但需手动处理边界，Scanner 则是平衡易用性与性能的绝佳选择。开发者应根据文件大小、行长度预期及分隔符需求进行选择。

以上就是 Golang 按行读取文件的三种方法详细内容，更多关于 Golang 高效文件处理的技术文章请持续关注本站！