Python实现词频统计的多种方法详解
发布时间：2026-10-13 |
2人浏览过
本文介绍Python中统计词频的多种实现方式，涵盖基础字典遍历、get/setdefault方法、defaultdict以及Counter类。重点解析Counter的高级用法，如most_common获取高频词，帮助开发者根据场景选择最简洁高效的方案。
Python词频统计概述
Python的设计哲学倡导以极简的代码解决复杂问题。在词频统计这一常见任务中，存在多种代码实现路径。由于词频统计在数据统计、数据挖掘及分类处理中应用广泛，本文对此进行简要梳理与记录。
以下示例数据用于演示统计过程：
基础字典统计法
document = [
'look', 'into', 'my', 'eyes', 'look', 'into', 'my', 'eyes',
'the', 'eyes', 'the', 'eyes', 'the', 'eyes', 'not', 'around', 'the',
'eyes', "don't", 'look', 'around', 'the', 'eyes', 'look', 'into',
'my', 'eyes', "you're", 'under']
方法一：利用原生字典进行统计（遍历加循环）。
传统遍历与条件判断
word_count = {}
for word in document:
if word in word_count:
word_count[word] += 1
else:
word_count[word] = 1
方法二：更优雅的字典操作实现。
利用get与setdefault优化
#假如字典中不存在给定的键，则返回参数中提供的默认值；反之，则返回字典中保存的值。
for word in document:
previous_count = word_count.get(word, 0)
word_count[word] = previous_count + 1
#可以合并成一行
for word in document:
word_count[word] = word_count.setdefault(word, 0) + 1
方法三：使用defaultdict实现自动默认值设置。
使用defaultdict简化代码
# 使用collections中的defalutdict来实现，defalutdict是一种值可以默认设置的dict
from collections import defaultdict
word_count = defaultdict(int)
for word in document:
word_count[word] += 1
方法四：使用Counter计数器类。
使用Counter进行高效统计
word_counter = Counter(document)作为计数器，Counter内置了丰富的统计功能。例如，通过排序获取前n个最高频的词汇是常见需求。
获取高频词Top N
# 返回前n个最高词频，以字典的形式
word_counter.most_common(n)
对比可见，使用defaultdict和Counter的代码最为简洁，也更契合Python的开发理念。
以上内容为本文全部要点，希望能为读者提供学习参考，欢迎继续支持本站。
本站声明
本文内容仅供参考，不代表本站观点。转载或引用请注明出处。如发现内容问题，请通过联系我们页面反馈。
