Python处理文本文件中控制字符的方法

阿麦

发布时间：2026-10-12 | 3人浏览过

原创

本文介绍了Python中处理文本文件控制字符的多种方法。控制字符包括ASCII定义的0-31及127，以及ISO/IEC 8859-1定义的128-159。文章提供了三种Python解决方案，涵盖使用lambda表达式、正则表达式匹配非法Unicode字符及ASCII控制符，以及构建自定义正则模式进行替换。这些方法有助于在数据清洗和文件处理中有效移除非打印字符，确保文本数据的纯净性。

控制字符

控制字符（Control Character），亦称非打印字符，存在于特定的信息文本中，用于表示某种控制功能。常见的控制符包括：LF（换行）、CR（回车）、FF（换页）、DEL（删除）、BS（退格）、BEL（振铃）等；此外还有通讯专用字符，如SOH（文头）、EOT（文尾）、ACK（确认）等。

具体而言，控制字符主要包含以下两个集合：

七位ASCII标准定义了33个代码作为控制字符，具体为数值0到31以及127（对应十六进制范围0x00-0x1F及0x7F）。

兼容的八位ISO/IEC 8859-1标准增加了从ISO/IEC 6429定义的32个代码，范围从128到159（对应十六进制0x80-0x9F）。

完整的控制字符列表可参考：http://ascii-table.com/control-chars.php

以下是Python中处理控制字符的几种方案（未经一一验证）：

方案一：

strip_control_characters = lambda s:"".join(i for i in s if 31<ord(i)<127)

方案二：

def strip_control_characters(str_input): 
 if str_input: 
 import re 
 # unicode invalid characters 
 RE_XML_ILLEGAL = u'([\u0000-\u0008\u000b-\u000c\u000e-\u001f\ufffe-\uffff])' + \
   u'|' + \
   u'([%s-%s][^%s-%s])|([^%s-%s][%s-%s])|([%s-%s]$)|(^[%s-%s])' % \
   (unichr(0xd800),unichr(0xdbff),unichr(0xdc00),unichr(0xdfff), 
    unichr(0xd800),unichr(0xdbff),unichr(0xdc00),unichr(0xdfff), 
    unichr(0xd800),unichr(0xdbff),unichr(0xdc00),unichr(0xdfff), 
    ) 
 str_input = re.sub(RE_XML_ILLEGAL, "", input) 
 # ascii control characters 
 str_input = re.sub(r"[\x01-\x1F\x7F]", "", input) 
 return str_input

方案三：

import re
 
def remove_control_chars(s):
 control_chars = ''.join(map(unichr, range(0,32) + range(127,160)))
 control_char_re = re.compile('[%s]' % re.escape(control_chars))
 
 return control_char_re.sub('', s)
 
cleaned_json = remove_control_chars(original_json)
obj = simplejson.loads(cleaned_json)

总结

以上就是本文的全部内容，希望这些内容能对大家在Python的学习或使用中提供帮助。如有任何疑问，欢迎留言交流。