Python 文本相似度对比:difflib 与 Levenshtein 实战解析

云舒
云舒
发布时间:2026-10-13 | 6人浏览过
原创

本文介绍在 Python 中处理不定长序列匹配时,使用 difflib 和 Levenshtein 库进行文本相似性比较的方法。difflib 支持非字符串元素但要求完全匹配,而 Levenshtein 需输入字符串并进行整体匹配。通过实例对比两者的优缺点,帮助开发者根据实际需求选择合适的相似度计算工具。

近期工作中遇到了序列匹配与相似性检测的需求,难点在于输入数据的长度并不固定。例如:

input_and_output = [1, 2, '你好', 世界', 12.34, 45.6, -21, '中国', '美丽']

任务是从 input_and_output 中选取一段长度不固定且顺序可能打乱的子序列,将其与完整序列进行比对以找出最匹配的结果。起初尝试将汉字转换为数值编码,但随着汉字数量的增加,该方法不再适用,因此转向其他方案。查阅资料后发现有两个 Python 库被广泛推荐,它们各有优劣,在此记录如下:

1、difflib

import difflib #python 自带库,不需额外安装

In [49]: test1
Out[49]: ['你好', '我是谁']

In [50]: test2
Out[50]: ['你好啊', '我谁']

In [51]: test3
Out[51]: [12, 'nihao']

In [52]: test4
Out[52]: ['你好', 'woshi']

In [53]: difflib.SequenceMatcher(a=test1, b=test2).quick_ratio()
Out[53]: 0.0

In [54]: difflib.SequenceMatcher(a=test1, b=test4).ratio()
Out[54]: 0.5

2、Levenshtein

#pip install python-Levenshtein

import Levenshtein


In [56]: Levenshtein.distance(','.join(test1), ','.join(test2))
Out[56]: 2

In [57]: Levenshtein.distance(','.join(test1), ','.join(test4))
Out[57]: 5

简而言之,difflib 在使用时并不局限于字符串类型,但在匹配过程中,只有当单个元素完全一致时才会被计入相似度。

而 Levenshtein 则要求输入必须为字符串,其匹配机制是基于整体的(这可能与将所有元素合并为一个字符串有关,具体细节有待后续进一步实践验证)。

以上关于 Python 比较文本相似性的方法(difflib 和 Levenshtein)的全部内容已分享完毕,希望能为读者提供参考,也欢迎大家继续支持本站。

相关标签:

本站声明

本文内容仅供参考,不代表本站观点。转载或引用请注明出处。如发现内容问题,请通过联系我们页面反馈。

Python 相关产品和应用

全部下载

专题列表