Python lxml库基础：安装、解析与数据提取详解

陈默

发布时间：2026-10-16 | 17人浏览过

原创

本文详细介绍Python中lxml库的安装方法及基础使用。涵盖通过pip安装lxml，利用etree.HTML解析HTML字符串或文件，以及使用XPath语法提取特定标签文本和属性值。内容包含代码示例，帮助开发者快速掌握lxml在爬虫数据采集中的高效应用。

一、lxml库概述

1、lxml库介绍

lxml是一款基于C语言实现的高性能Python HTML与XML解析库，主要功能为解析和提取XML及HTML数据。它支持使用XPath语法来定位特定的元素及节点信息，在数据处理效率上表现优异。

2、lxml库特点

HTML（超文本标记语言）主要用于展示数据，其核心关注点在于数据的外观呈现。

XML（可扩展标记语言）则主要用于数据的传输与存储，其核心关注点在于数据的内容本身。

3、lxml库的安装

在Windows系统下，打开cmd命令提示符窗口，输入以下命令进行安装。

pip install lxml

在cmd命令行中验证安装是否成功。尝试引入该模块，若未返回错误信息，则说明安装成功。

二、基本使用

1、lxml.etree

在爬虫代码采集过程中，可以通过etree.HTML方法直接将字符串实例转化为element对象。

import requests
from lxml import etree
 
res = requests.get("http://www.jsons.cn/zt/")
 
html = res.text
 
root_element = etree.HTML(html)
 
print(root_element)
print(root_element.tag)

2、解析HTML网页

#解析HTML字符串
from lxml import etree
text = '''
<html><body>
    <div class="key">
        <div class="name">无羡</div>
        <div class="age">20</div>
        <div class="address">四川</div>
    </div>
</body></html>
'''
# 开始初始化
html = etree.HTML(text)  # 这里需要传入一个html形式的字符串
print(html)
print(type)
# 将字符串序列化为html字符串
result = etree.tostring(html).decode('utf-8')
print(result)
print(type(result))

3、读取并解析HTML文件

from lxml import etree
 
# 将html文件进行读取
html = etree.parse('1.html')
 
# 将html内容序列化
result = etree.tostring(html).decode('utf-8')
print(result)
print(type(result))
html = etree.HTML(result)  # 这里需要传入一个html形式的字符串
print(html)
print(type)

三、lxml使用流程

1、导入模块

from lxml import etree

2、创建解析对象

调用etree模块的HTML()方法来创建HTML解析对象。

parse_html = etree.HTML(html)

HTML()方法能够将HTML标签字符串解析为HTML文件，该方法具备自动修正HTML文本的功能。

from lxml import etree
html_str = '''
<div>
    <ul>
         <li class="item1"><a href="link1.html">Python</a></li>
         <li class="item2"><a href="link2.html">Java</a></li>
         <li class="site1"><a href="c.biancheng.net">C语言中文网</a>
         <li class="site2"><a href="www.baidu.com">百度</a></li>
         <li class="site3"><a href="www.jd.com">京东</a></li>
     </ul>
</div>
'''
html = etree.HTML(html_str)
 
result = etree.tostring(html)
print(result.decode('utf-8'))

四、lxml库数据提取

1、提取所有a标签内的文本信息

from lxml import etree
# 创建解析对象
parse_html=etree.HTML(html)
# 书写xpath表达式,提取文本最终使用text()
xpath_bds='//a/text()'
# 提取文本数据，以列表形式输出
r_list=parse_html.xpath(xpath_bds)
# 打印数据列表
print(r_list)

2、获取所有href的属性值

from lxml import etree
# 创建解析对象
parse_html=etree.HTML(html)
# 书写xpath表达式,提取文本最终使用text()
xpath_bds='//a/@href'
# 提取文本数据，以列表形式输出
r_list=parse_html.xpath(xpath_bds)
# 打印数据列表
print(r_list)

3、不匹配href=" www.biancheng.net/priduct"

from lxml import etree
# 创建解析对象
parse_html=etree.HTML(html)
# 书写xpath表达式,提取文本最终使用text()
xpath_bds='//a/@href'
# 提取文本数据，以列表形式输出
xpath_bds='//ul[@id="sitename"]/li/a/@href'
# 打印数据列表
print(r_list)