详解用Python处理HTML转义字符的5种方式

网络爬虫的核心流程包括发送请求、提取数据、清洗数据以及存储数据。在此过程中，不同数据源返回的数据格式存在差异，可能为JSON或XML文档，但绝大多数仍为HTML格式。HTML内容中常混杂转义字符，我们需要将其还原为原始可见字符。

什么是转义字符

在HTML语法中，<、>、&等字符具有特殊语义（<和>用于定义标签，&用于触发转义序列），因此不能直接在HTML源码中使用。若需在网页中显示这些符号，必须使用HTML转义字符串（Escape Sequence）。例如，小于号的转义表示为&lt;。当浏览器渲染HTML页面时，会自动将转义字符串解析为对应的真实字符。

转义字符（Escape Sequence）由三个部分组成：起始的&符号、实体名称（Entity Name）以及结尾的分号。例如，若要在页面中显示小于号（<），代码应写为&lt;。

Python反转义字符串

使用Python处理转义字符串有多种实现方式，且Python2与Python3的处理机制存在差异。在Python2环境中，负责反转义的模块为HTMLParser。

# python2
import HTMLParser
>>> HTMLParser().unescape('a=1&b=2')
'a=1&b=2'

Python3 HTMLParser 模块迁移到了 html.parser

# python3
>>> from html.parser import HTMLParser
>>> HTMLParser().unescape('a=1&b=2')
'a=1&b=2'

自Python3.4版本起，html模块中新增了unescape方法。

# python3.4
>>> import html
>>> html.unescape('a=1&b=2')
'a=1&b=2'

推荐使用最后一种写法。因为HTMLParser.unescape方法在Python3.4中已被标记为废弃（deprecated），这意味着在后续版本中该功能可能会被彻底移除。

此外，sax模块也提供了支持反转义的函数。

>>> from xml.sax.saxutils import unescape
>>> unescape('a=1&b=2')
'a=1&b=2'

当然，开发者完全可以自行实现反转义功能，这并不复杂。不过，我们通常倡导不重复造轮子，优先使用标准库方案。

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持本站。