Python urllib网络请求操作指南

陆景行

发布时间：2026-10-12 | 3人浏览过

原创

本文将深入介绍Python标准库urllib的各项功能，包括网络请求的发起、参数传递、请求头设置、代理使用、身份认证、Cookie管理以及异常处理与URL解析。这些方法覆盖了日常网页抓取和API调用中的常见场景，适用于快速实现HTTP通信。

一、urllib简介与核心模块

urllib是Python内置的标准网络请求库，无需安装即可直接使用。它包含四个主要模块：

urllib.request：负责打开和读取URL，模拟发送请求并获取响应内容。
urllib.error：处理由urllib.request引发的异常，保障程序稳定运行。
urllib.parse：用于解析和操作URL，支持拆分、合并及参数转换。
urllib.robotparser：解析网站robots.txt文件，判断爬取许可规则。（注：原文误写为robotparse，此处修正为标准模块名）

二、发起简单网络请求

通过urllib.request.urlopen()可直接向指定URL发送GET请求并返回响应。

第一步：构建基础请求

目的：获取网页原始HTML内容。

入口：Python脚本或交互式环境。

操作：导入urllib.request模块，调用urlopen()方法，可指定timeout参数避免长时间阻塞。

import urllib.request

resp = urllib.request.urlopen('http://www.baidu.com', timeout=1)
html_content = resp.read().decode('utf-8')
print(type(resp), resp.status)

完成状态：输出响应对象类型和状态码200，表示请求成功。

三、携带参数发送请求

某些接口需要POST数据或在URL中附带查询参数。使用urllib.parse进行编码。

第二步：准备请求数据

目的：将字典转换为URL编码字符串。

操作：创建参数字典，用urlencode()编码并转为字节流。

import urllib.parse
import urllib.request

params = {'name': 'autofelix', 'age': '25'}
data = bytes(urllib.parse.urlencode(params), encoding='utf8')
response = urllib.request.urlopen("http://example.com", data=data)
print(response.read())

完成状态：响应数据包含服务器处理的确认信息。

四、自定义请求头和代理设置

高级请求常需伪装浏览器标识或绕过地域限制。

第三步：添加Header信息

目的：模拟真实浏览器访问，避免被识别为爬虫。

操作：构造Request对象并传入headers参数。

import urllib.request

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36'
}
request = urllib.request.Request(url="http://example.com", headers=headers)
response = urllib.request.urlopen(request)
print(response.getheader('Server'))

第四步：配置代理服务器

目的：通过代理IP隐藏源地址或访问受限资源。

操作：使用ProxyHandler构建opener，并通过install_opener()全局生效。

import urllib.request

proxy_handler = urllib.request.ProxyHandler({
    'http': 'http://proxy.cn:8080',
    'https': 'http://proxy.cn:8080'
})
opener = urllib.request.build_opener(proxy_handler)
response = opener.open('http://example.com')
print(response.info())

五、处理认证与Cookies

部分页面要求登录验证，可借助密码管理器或自动存储Cookie简化流程。

第五步：实施基本身份验证

目的：输入账号密码完成权限校验。

操作：创建PasswordMgrWithDefaultRealm对象并添加凭证，通过BasicAuthHandler处理。

import urllib.request

url = "http://example.com/login"
pwdmgr = urllib.request.HTTPPasswordMgrWithDefaultRealm()
pwdmgr.add_password(None, url, 'username', 'password')
auth_handler = urllib.request.build_opener(
    urllib.request.HTTPBasicAuthHandler(pwdmgr)
)
response = auth_handler.open(url)
print(response.status)

第六步：持久化与管理Cookies

目的：保存会话信息以避免重复登录。

操作：使用CookieJar配合HTTPCookieProcessor封装opener。

import http.cookiejar
import urllib.request

cj = http.cookiejar.CookieJar()
handler = urllib.request.HTTPCookieProcessor(cj)
opener = urllib.request.build_opener(handler)
response = opener.open('http://example.com')
for cookie in cj:
    with open('cookies.txt', 'a') as f:
        f.write(f'{cookie.name}={cookie.value}\n')

警告：操作涉及写入本地文件，建议备份重要数据以防丢失。

六、异常处理与超时控制

网络不稳定时需捕获各类错误并设置合理超时。

第七步：统一错误监控体系

目的：优雅地应对连接失败、HTTP错误等情况。

操作：使用try-except捕获URLError和HTTPError子类。

from urllib import request, error
import socket

try:
    resp = request.urlopen('http://example.com', timeout=0.01)
except error.URLError as e:
    if isinstance(e.reason, socket.timeout):
        print('Connection timed out')
    else:
        print(f'General error: {e.reason}')
except error.HTTPError as e:
    print(f'HTTP code: {e.code}, Reason: {e.reason}')
else:
    print('Success!')

七、URL解析与参数组装技巧

动态生成链接时需要标准化工具。

第八步：安全编码特殊字符

目的：防止中文或非ASCII字符破坏URL结构。

操作：利用quote/unquote函数双向转换。

from urllib import parse

encoded_name = parse.quote('飞兔小哥')
decoded_name = parse.unquote(encoded_name)
print(decoded_name)

第九步：整合查询字符串

目的：将字典无缝附加到基础URL末尾。

操作：组合urlencode()生成完整链接。

from urllib.parse import urlencode

base_url = 'http://api.example.com/data?'
params = {'key': 'value1', 'type': 'search'}
full_url = base_url + urlencode(params)
print(full_url)

第十步：拆解与分析网址组件

目的：提取协议、主机、端口等细分部分。

操作：调用urlparse()获得命名元组对象。

from urllib.parse import urlparse

parsed = urlparse('http://www.baidu.com/path?q=test')
print(parsed.scheme, parsed.netloc, parsed.path, parsed.query)