Python爬虫BeautifulSoup异常处理实战：404、空网页与标签缺失

小石头

发布时间：2026-10-13 | 2人浏览过

原创

本文详解Python爬虫中BeautifulSoup的异常处理机制，涵盖HTTPError捕获404/500错误、空网页判断及AttributeError处理缺失标签。通过完整代码示例，展示如何编写健壮的爬虫程序，避免程序崩溃，提升代码健壮性。

在网络环境不稳定或目标页面发生更新的情况下，爬虫程序极易出现运行异常。因此，实施有效的异常处理机制至关重要。虽然处理异常看似繁琐，但在面对结构复杂或动态变化的网页时，这已成为编写高质量代码的必备习惯。

当请求的网页出现“404”（未找到）或“500”（服务器内部错误）等状态码时，程序需要能够识别并处理这些HTTP错误。

try:
    html = urlopen('http://www.pmcaff.com/2221')
  except HTTPError as e:
    print(e)

如果urlopen返回的html对象为None，说明未能成功获取网页内容，此时应输出“没有找到网页”的提示信息。

if html is None:
    print('没有找到网页')

若目标标签在网页结构中不存在，访问不存在的标签属性会触发AttributeError。代码需捕获此异常，并进一步判断content是否为None，以区分是标签缺失还是标签存在但无子元素的情况。

try:
    #不存在的标签
    content = bsObj.nonExistingTag.anotherTag 
  except AttributeError as e:
    print('没有找到你想要的标签')
  else:
    if content == None:
      print('没有找到你想要的标签')
    else:
      print(content)

以下是整合上述异常处理的完整示例代码。该代码兼容Python 2和Python 3，通过urllib获取网页，利用BeautifulSoup解析，并封装getTitle函数以处理可能的HTTPError和AttributeError，最终返回标题或None。

if sys.version_info[0] == 2:
  from urllib2 import urlopen # Python 2
  from urllib2 import HTTPError
else:
  from urllib.request import urlopen # Python3
  from urllib.error import HTTPError
from bs4 import BeautifulSoup
import sys


def getTitle(url):
  try:
    html = urlopen(url)
  except HTTPError as e:
    print(e)
    return None
  try:
    bsObj = BeautifulSoup(html.read())
    title = bsObj.body.h1
  except AttributeError as e:
    return None
  return title

title = getTitle("http://www.pythonscraping.com/exercises/exercise1.html")
if title == None:
  print("Title could not be found")
else:
  print(title)

以上内容涵盖了Python爬虫中常见的异常处理场景及解决方案，希望能为读者提供有益参考。如有更多技术疑问，欢迎持续关注本站获取最新技术资讯。