Python实现文件与字符串编码识别：解决chardet误判问题
发布时间：2026-10-13 |
5人浏览过
本文介绍了一种Python自定义编码识别方法，旨在解决chardet工具在特定场景（如Windows记事本保存的GBK文件被误识为KOI8-R）下的局限性。通过遍历UTF-8、UTF-16、GB18030等编码并尝试解码，实现了对文件及字符串编码类型的准确判断，提供了完整的代码示例与使用说明。
在Python中，判断文件和字符串的编码类型通常使用chardet工具包，它能够识别大多数常见的编码格式。然而，在实际应用中曾遇到特殊情况：当读取由Windows记事本保存的txt文件时，原本应为GBK编码的文件却被chardet错误地识别为KOI8-R编码，且当时未找到直接解决办法。
针对上述问题，本文提供了一种简单的自定义编码识别方法，具体实现代码如下：
coding.py
# 说明：UTF兼容ISO8859-1和ASCII，GB18030兼容GBK，GBK兼容GB2312，GB2312兼容ASCII
CODES = ['UTF-8', 'UTF-16', 'GB18030', 'BIG5']
# UTF-8 BOM前缀字节
UTF_8_BOM = b'\xef\xbb\xbf'
# 获取文件编码类型
def file_encoding(file_path):
"""
获取文件编码类型\n
:param file_path: 文件路径\n
:return: \n
"""
with open(file_path, 'rb') as f:
return string_encoding(f.read())
# 获取字符编码类型
def string_encoding(b: bytes):
"""
获取字符编码类型\n
:param b: 字节数据\n
:return: \n
"""
# 遍历编码类型
for code in CODES:
try:
b.decode(encoding=code)
if 'UTF-8' == code and b.startswith(UTF_8_BOM):
return 'UTF-8-SIG'
return code
except Exception:
continue
return '未知的字符编码类型'
代码说明：file_encoding方法用于判断指定路径文件的编码类型，接收文件路径作为参数；string_encoding方法用于判断字符串的编码类型，接收字符串对应的字节数据作为参数。
使用示例如下：
import coding
file_name = input('请输入待识别文件路径：\n')
encoding = coding.file_encoding(file_name)
print(encoding)
以上关于Python判断文件和字符串编码类型的实例内容分享到此结束，希望能为读者提供参考，并欢迎大家继续支持本站。
本站声明
本文内容仅供参考，不代表本站观点。转载或引用请注明出处。如发现内容问题，请通过联系我们页面反馈。
