Python高效计算词频：从自定义函数到NLTK的优化实践

本文详细介绍一种在Python中快速统计词频的实现方案，旨在为开发者提供实用的参考代码。

近期观察到同事编写的一段代码，其实现逻辑如下所示：

def cut_word(body):
  temp_dict={}
  if body is not None:
    temp=jieba.cut(body)
    for t in temp:
      temp_dict[t]=1
  else:
    pass
  return temp_dict

该函数的主要功能是接收一段字符串输入（例如“今天天气很不错”），处理后返回一个字典。字典的键（key）是通过jieba库的cut方法对字符串进行分词得到的结果，值（value）统一设为1。例如，输入“今天天气很不错”，输出可能为{'很':1, '今天天气':1, '不错': 1}。

接着，同事提供了另一个辅助方法：

def union_dict(x,y):
  _keys = set(sum([obj.keys() for obj in [x,y]],[]))
  _total = {}
  for _key in _keys:
    _total[_key] = sum([obj.get(_key,0) for obj in [x,y]])
  return _total

该方法的调用方式如下：

final_dict=reduce(union_dict,result)

最终结果result是通过以下步骤生成的：

result=df['body'].apply(cut_word)

具体而言，这是将DataFrame的body列中的每一行数据分别执行cut_word函数处理的结果，该函数的作用是将字符串转换为包含分词结果的字典。

此时，result的数据类型为Series。随后，利用reduce函数对Series执行union_dict操作，以合并所有字典。

union_dict函数的作用是接收两个字典作为输入（例如{'很':1, '今天天气':1, '不错': 1}和{'很':1, '今天天气':1, '差': 1}），将键相同的项的值进行累加。例如，上述两个字典合并后输出为{'很':2, '今天天气':2, '不错': 1, '差':1}。

这一系列操作的初衷是为了计算大量文本的词频。然而，同事采用的策略是对每一行文本单独进行分词并生成字典，

然后再将这些字典逐一合并。这种处理方式逻辑较为繁琐，代码可读性也有提升空间。

在学习自然语言处理的过程中，我发现nltk库提供了一个专门用于计算词频的方法，非常适合应用于当前场景。

# -*- coding:utf-8 -*-
import nltk
import jieba
str = '今天天气很不错。今天天气很差'
a = list(jieba.cut(str))
cfd = nltk.FreqDist(a)

使用该方法后，可以直接得到一个包含词频信息的字典，例如：{'很':2, '今天天气':2, '不错': 1, '很差':1, '。'}。

由于同事定义的cut_word函数对每个词仅计数一次，因此不能直接将所有字符串拼接后调用FreqDist函数。正确的做法是：先对每个cut生成的分词列表进行去重处理，然后将去重后的列表拼接为大字符串，最后调用FreqDist函数。这一流程比之前编写两个自定义函数的方法要简单得多。

对于常规的文本词频统计需求，这种方法能够直接解决问题，操作十分便捷。

更多关于Python编程技巧的内容，感兴趣的读者可以查阅本站专题：《Python数学运算技巧总结》、《Python数据结构与算法教程》、《Python函数使用技巧总结》、《Python字符串操作技巧汇总》、《Python入门与进阶经典教程》以及《Python文件与目录操作技巧汇总》。

希望本文所述的优化方案能对大家的Python程序设计工作有所帮助。