Python 文本相似度对比:difflib 与 Levenshtein 实战解析
本文介绍在 Python 中处理不定长序列匹配时,使用 difflib 和 Levenshtein 库进行文本相似性比较的方法。difflib 支持非字符串元素但要求完全匹配,而 Levenshtein 需输入字符串并进行整体匹配。通过实例对比两者的优缺点,帮助开发者根据实际需求选择合适的相似度计算工具。
近期工作中遇到了序列匹配与相似性检测的需求,难点在于输入数据的长度并不固定。例如:
input_and_output = [1, 2, '你好', 世界', 12.34, 45.6, -21, '中国', '美丽']
任务是从 input_and_output 中选取一段长度不固定且顺序可能打乱的子序列,将其与完整序列进行比对以找出最匹配的结果。起初尝试将汉字转换为数值编码,但随着汉字数量的增加,该方法不再适用,因此转向其他方案。查阅资料后发现有两个 Python 库被广泛推荐,它们各有优劣,在此记录如下:
1、difflib
import difflib #python 自带库,不需额外安装 In [49]: test1 Out[49]: ['你好', '我是谁'] In [50]: test2 Out[50]: ['你好啊', '我谁'] In [51]: test3 Out[51]: [12, 'nihao'] In [52]: test4 Out[52]: ['你好', 'woshi'] In [53]: difflib.SequenceMatcher(a=test1, b=test2).quick_ratio() Out[53]: 0.0 In [54]: difflib.SequenceMatcher(a=test1, b=test4).ratio() Out[54]: 0.5
2、Levenshtein
#pip install python-Levenshtein
import Levenshtein
In [56]: Levenshtein.distance(','.join(test1), ','.join(test2))
Out[56]: 2
In [57]: Levenshtein.distance(','.join(test1), ','.join(test4))
Out[57]: 5
简而言之,difflib 在使用时并不局限于字符串类型,但在匹配过程中,只有当单个元素完全一致时才会被计入相似度。
而 Levenshtein 则要求输入必须为字符串,其匹配机制是基于整体的(这可能与将所有元素合并为一个字符串有关,具体细节有待后续进一步实践验证)。
以上关于 Python 比较文本相似性的方法(difflib 和 Levenshtein)的全部内容已分享完毕,希望能为读者提供参考,也欢迎大家继续支持本站。
本站声明
本文内容仅供参考,不代表本站观点。转载或引用请注明出处。如发现内容问题,请通过联系我们页面反馈。













