Python实现统计高频单词函数count_words详解

问题描述：

编写一个名为 count_words() 的 Python 函数，接收字符串 s 和整数 n 作为输入参数。该函数需返回字符串 s 中出现频率最高的 n 个单词。返回值格式为包含元组的列表，每个元组由单词及其出现次数组成，即 [(<单词1>, <次数1>), (<单词2>, <次数2>), ... ]。列表需按照单词出现次数从高到低排序。

假设所有输入均为小写形式，且字符串中不包含标点符号或其他特殊字符，仅由字母和单个空格构成。若多个单词的出现次数相同，则按照字母顺序进行排列。

例如：

print count_words("betty bought a bit of butter but the butter was bitter",3)

输出：

[('butter', 2), ('a', 1), ('betty', 1)]

解决问题的思路：

1. 对字符串 s 执行空白符分割操作，获取所有单词组成的列表 split_s。例如：['betty', 'bought', 'a', 'bit', 'of', 'butter', 'but', 'the', 'butter', 'was', 'bitter']

2. 构建 maplist，将 split_s 转换为元素为元组的列表形式，例如：[('betty', 1), ('bought', 1), ('a', 1), ('bit', 1), ('of', 1), ('butter', 1), ('but', 1), ('the', 1), ('butter', 1), ('was', 1), ('bitter', 1)]

3. 合并 maplist 中的元素。若元组的第一个索引值（单词）相同，则将其第二个索引值（计数）相加。

// 备注：准备采用defaultdict。得到的数据如下：{'betty': 1, 'bought': 1, 'a': 1, 'bit': 1, 'of': 1, 'butter': 2, 'but': 1, 'the': 1, 'was': 1, 'bitter': 1}

4. 进行排序，按照 key（单词）进行字母升序排序，得到如下结果：[('a', 1), ('betty', 1), ('bit', 1), ('bitter', 1), ('bought', 1), ('but', 1), ('butter', 2), ('of', 1), ('the', 1), ('was', 1)]

5. 进行二次排序，按照 value（次数）进行降序排序，得到如下结果：[('butter', 2), ('a', 1), ('betty', 1), ('bit', 1), ('bitter', 1), ('bought', 1), ('but', 1), ('of', 1), ('the', 1), ('was', 1)]

6. 使用切片操作取出频率较高的前 n 组数据。

总结：在 Python3 中，即使不使用 defaultdict 进行排序，结果也是正确的；但在 Python2 上可能不正确。由于 defaultdict 本身不保证顺序，因此必须显式进行排序以区分列表顺序。

也可尝试自行编写逻辑，不借助第三方模块。

解决方案1（使用defaultdict）：

from collections import defaultdict
"""Count words."""
def count_words(s, n):
  """Return the n most frequently occuring words in s."""
  split_s = s.split()
  map_list = [(k,1) for k in split_s]
  output = defaultdict(int)
  for d in map_list:
    output[d[0]] += d[1]
  output1 = dict(output)
  top_n = sorted(output1.items(), key=lambda pair:pair[0], reverse=False)
  top_n = sorted(top_n, key=lambda pair:pair[1], reverse=True)
  return top_n[:n]
def test_run():
  """Test count_words() with some inputs."""
  print(count_words("cat bat mat cat bat cat", 3))
  print(count_words("betty bought a bit of butter but the butter was bitter", 4))
if __name__ == '__main__':
  test_run()

解决方案2（使用Counter）

from collections import Counter
"""Count words."""
def count_words(s, n):
  """Return the n most frequently occuring words in s."""
  split_s = s.split()
  split_s = Counter(name for name in split_s)
  print(split_s)
  top_n = sorted(split_s.items(), key=lambda pair:pair[0], reverse=False)
  print(top_n)
  top_n = sorted(top_n, key=lambda pair:pair[1], reverse=True)
  print(top_n)
  return top_n[:n]
def test_run():
  """Test count_words() with some inputs."""
  print(count_words("cat bat mat cat bat cat", 3))
  print(count_words("betty bought a bit of butter but the butter was bitter", 4))
if __name__ == '__main__':
  test_run()

总结

以上所述是小编给大家介绍的Python 统计字数的思路详解，希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对本站网站的支持！