Python爬虫获取页面所有URL链接过程详解

宋时安

发布时间：2026-10-14 | 4人浏览过

原创

本文详解如何使用Python的urllib库爬取网页，并结合BeautifulSoup解析HTML以提取所有URL链接。通过实例代码展示如何遍历a标签、处理相对路径及验证链接有效性，帮助开发者快速掌握网页数据抓取的核心技巧。

Python爬虫获取URL链接的基本原理

在Python开发中，如何高效获取一个页面内的所有URL链接？通常的做法是先使用urllib库对目标网页进行爬取，随后利用Beautiful Soup工具对获取到的页面内容进行解析，从而精准提取出所有的URL地址。

Beautiful Soup核心功能解析

了解Beautiful Soup的基本概念

Beautiful Soup提供了一系列简洁且符合Python风格的函数，用于处理文档树的导航、搜索和修改等功能。它就像一个功能齐全的工具箱，通过解析文档来提供用户所需的数据。由于其设计简单，开发者无需编写大量代码即可构建完整的应用程序。

Beautiful Soup会自动将输入的文档转换为Unicode编码，并将输出文档转换为utf-8编码。这意味着在大多数情况下，开发者无需手动处理编码问题。不过，如果文档未指定编码方式，Beautiful Soup可能无法自动识别，此时需手动指定编码。

BeautifulSoup兼容Python标准库中的HTML解析器，同时也支持多种第三方解析器。若未安装第三方解析器，Python将默认使用内置解析器。相比之下，lxml解析器具有更快的速度和更强大的处理能力，建议在性能要求较高的场景下使用。

完整代码实现与链接提取实战

以下是完整的实现代码示例。


from bs4 import BeautifulSoup
import time,re,urllib2
t=time.time()
websiteurls={}
def scanpage(url):
 websiteurl=url
 t=time.time()
 n=0
 html=urllib2.urlopen(websiteurl).read()
 soup=BeautifulSoup(html)
 pageurls=[]
 Upageurls={}
 pageurls=soup.find_all("a",href=True)
 for links in pageurls:
  if websiteurl in links.get("href") and links.get("href") not in Upageurls and links.get("href") not in websiteurls:
   Upageurls[links.get("href")]=0
 for links in Upageurls.keys():
  try:
   urllib2.urlopen(links).getcode()
  except:
   print "connect failed"
  else:
   t2=time.time()
   Upageurls[links]=urllib2.urlopen(links).getcode()
   print n,
   print links,
   print Upageurls[links]
   t1=time.time()
   print t1-t2
  n+=1
 print ("total is "+repr(n)+" links")
 print time.time()-t
scanpage(http://news.163.com/)