Python urllib.request 模块基础与实战案例解析

青禾

发布时间：2026-10-13 | 1人浏览过

原创

本文深入解析Python内置库urllib.request，涵盖其核心模块功能及常用方法。通过读取内容、获取URL、状态码及HTTP头信息等案例，演示如何模拟浏览器发起HTTP请求，并展示文件保存与图片下载的完整代码实现，适合Python初学者快速掌握网络数据抓取基础。

对于刚接触爬虫开发的新手而言，巩固基础知识至关重要。这样一篇内容详实、覆盖面广的技术文章，值得反复研读与分享。

Urllib 库概述

什么是 Urllib 库？

urllib 库是 Python 标准库中用于处理 HTTP 请求的核心组件。它提供的高级接口使得通过程序访问 Web 资源（如 www 或 ftp 服务器上的数据）变得如同操作本地文件一般简便。

该库主要包含以下几个子模块：

1. urllib.request 请求模块

2. urllib.error 异常处理模块

3. urllib.parse URL 解析模块

4. urllib.robotparser robots.txt 解析模块

以下是 Urllib 库中各主要模块的基本使用方法概述：

urllib.request 模块详解

urllib.request

urllib.request 模块提供了构建 HTTP（以及 FTP 等其他协议）请求的基本功能，允许开发者模拟浏览器的请求发起过程，并通过不同协议获取指定 URL 的信息。其部分接口支持处理基础认证（Basic Authentication）、HTTP 重定向（Redirections）以及 Cookie 管理等复杂场景，这些功能主要通过 handlers 和 openers 对象来实现。

1. 常用方法包括：

read()：用于读取响应文件内容
geturl()：获取当前请求的 URL 地址
getheaders()：获取 HTTP 请求头信息
getcode()：获取服务器返回的状态码
readlines()：逐行读取内容

常用方法与代码案例

2. 实战案例


#coding=utf-8
#import urllib.request
#=========response方法使用
#read()==读取文件内容
#geturl()==获取请求url
#getheaders()==获取http请求头信息
#getcode()==获取状态码
#readlines()==获取一行
#url="http://www.baidu.com";
#response = urllib.request.urlopen(url);
#=====案例1
# str = response.read().decode();#这样通过decode转换为utf8
# with open("baidu.html","w",encoding="utf8") as fp:
#   fp.write(str);
#=====案例2通过字节流写=默认通过read读取的是字节流
# with open("bai.html","wb") as fp:
#   fp.write(response.read()); 
#==使用字节流读取存图片
# image_url='https://ss3.bdstatic.com/70cFv8Sh_Q1YnxGkpoWK1HF6hhy/it/u=3772530225,1800402028&fm=26&gp=0.jpg';
# response = urllib.request.urlopen(image_url);
# with open("mv.jpg",'wb') as fp:
#   fp.write(response.read());
#案例3==使用内置函数读取图片
#image_url='https://ss3.bdstatic.com/70cFv8Sh_Q1YnxGkpoWK1HF6hhy/it/u=3772530225,1800402028&fm=26&gp=0.jpg';
#urllib.request.urlretrieve(image_url,"chun.jpg");

以上内容为本文的全部讲解，希望能为各位的学习提供切实帮助，也欢迎大家继续支持本站获取更多技术资源。