Python网络爬虫入门：三种抓取方式对比与Lxml实战

白榆

发布时间：2026-10-13 | 4人浏览过

原创

本文介绍Python网络爬虫的三种常见网页抓取方法：正则表达式、Beautiful Soup和Lxml。重点对比了各模块的性能与适用场景，指出Lxml因基于C语言实现而兼具速度与健壮性。文章提供了Lxml及其依赖模块cssselect的详细安装命令，并附带完整的Python代码示例，演示如何利用urllib和lxml下载网页、解析HTML并批量保存图片。

本文整理了Python网络爬虫的相关学习笔记，旨在为读者提供实用的参考内容。

（一）三种网页抓取方法

1、正则表达式：

该模块底层由C语言编写，执行速度较快，但代码结构较为脆弱。一旦目标网页结构发生更新，原有的抓取逻辑可能失效。

2、Beautiful Soup

该模块完全使用Python编写，运行速度相对较慢。

安装：

pip install beautifulsoup4

3、 Lxml

该模块同样基于C语言编写，兼具高速运行与高健壮性的特点，通常被视为最佳选择。

（二） Lxml安装

pip install lxml

若需使用lxml的CSS选择器功能，还需额外安装以下模块

pip install cssselect

（三）使用lxml示例

import urllib.request as re
import lxml.html
#下载网页并返回HTML
def download(url,user_agent='Socrates',num=2):
  print('下载:'+url)
  #设置用户代理
  headers = {'user_agent':user_agent}
  request = re.Request(url,headers=headers)
  try:
    #下载网页
    html = re.urlopen(request).read()
  except re.URLError as e:
    print('下载失败'+e.reason)
    html=None
    if num>0:
      #遇到5XX错误时，递归调用自身重试下载，最多重复2次
      if hasattr(e,'code') and 500<=e.code<600:
        return download(url,num-1)
  return html
html = download('https://tieba.baidu.com/p/5475267611')
#将HTML解析为统一的格式
tree = lxml.html.fromstring(html)
# img = tree.cssselect('img.BDE_Image')
#通过lxml的xpath获取src属性的值，返回一个列表
img = tree.xpath('//img[@class="BDE_Image"]/@src')
x= 0
#迭代列表img,将图片保存在当前目录下
for i in img:
  re.urlretrieve(i,'%s.jpg'%x)
  x += 1

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持本站。