Python urllib中urlopen与urlretrieve函数详解

Mia

发布时间：2026-10-13 | 5人浏览过

原创

本文详细解析Python中urllib模块的两个核心方法：urlopen()与urlretrieve()。urlopen用于获取远程URL的类文件对象，支持read、info等方法；urlretrieve则直接将远程数据下载至本地，支持进度回调。文章通过代码示例展示了参数配置、状态码判断及下载进度实现，适用于Python网络编程初学者参考。

本文深入解析Python标准库中urllib模块的两个关键函数：urlopen()与urlretrieve()。通过具体代码示例，详细阐述其功能机制与应用场景，为Python网络编程与数据抓取提供实用的参考指南。

urlopen()方法详解

1. urlopen()方法详解

urllib.urlopen(url[, data[, proxies]])函数用于创建一个代表远程URL的类文件对象，随后可以像操作本地文件一样对该对象进行读取，从而获取远程数据。

参数url指定远程数据的路径，通常指代网页地址；

参数data用于指定以POST方式提交至URL的数据（Web开发中常见的数据提交方式包括POST与GET，若对此概念不熟悉，通常无需特别关注此参数，因为大多数场景下不使用它）；

参数proxies用于配置代理服务器。

urlopen返回一个类文件对象，该对象提供以下方法：
read()、readline()、readlines()、fileno()、close()：这些方法的使用方式与Python内置的文件对象完全一致；
info()：返回一个httplib.HTTPMessage对象，包含远程服务器返回的HTTP头信息；
getcode()：返回HTTP状态码。对于HTTP请求，200表示请求成功；404表示未找到指定网址；
geturl()：返回实际请求的URL地址；

代码示例如下：


import urllib
url = "http://www.baidu.com/"
#urlopen()
sock = urllib.urlopen(url)
htmlCode = sock.read()
sock.close
fp = open("e:/1.html","wb")
fp.write(htmlCode)
fp.close
#urlretrieve()
urllib.urlretrieve(url, 'e:/2.html')

urlretrieve方法

2. urlretrieve方法

该方法用于直接将远程数据下载到本地磁盘。


urllib.urlretrieve(url[, filename[, reporthook[, data]]])
参数说明：
url：外部或者本地url
filename：指定了保存到本地的路径（如果未指定该参数，urllib会生成一个临时文件来保存数据）；
reporthook：是一个回调函数，当连接上服务器、以及相应的数据块传输完毕的时候会触发该回调。我们可以利用这个回调函数来显示当前的下载进度。
data：指post到服务器的数据。该方法返回一个包含两个元素的元组(filename, headers)，filename表示保存到本地的路径，header表示服务器的响应头。

以下示例演示了该方法的使用：将新浪首页的HTML内容抓取并保存至本地D:/sina.html文件中，同时通过回调函数显示下载进度。


import urllib
def callbackfunc(blocknum, blocksize, totalsize):
  '''回调函数
  @blocknum: 已经下载的数据块
  @blocksize: 数据块的大小
  @totalsize: 远程文件的大小
  '''
  percent = 100.0 * blocknum * blocksize / totalsize
  if percent > 100:
    percent = 100
  print "%.2f%%"% percent
url = 'http://www.sina.com.cn'
local = 'd:\\sina.html'
urllib.urlretrieve(url, local, callbackfunc)

以上就是本文的全部内容，希望能为读者在学习Python网络编程时提供有益的帮助，欢迎继续支持本站获取更多技术资源。