Python urllib库添加请求头Headers的两种方法详解

Evan

发布时间：2026-10-14 | 4人浏览过

原创

本文详细解析Python中利用urllib库抓取网页时添加请求头（Headers）的两种常用方法。第一种通过build_opener结合addheaders实现，需注意headers需为元组类型；第二种通过创建Request实例对象，支持字典类型传入及add_header方法追加。文章对比了两种方式的参数格式差异与适用场景，帮助开发者避免类型错误并成功获取网页内容。

Python urllib添加请求头的方法概述

在抓取某些网站内容时，必须添加请求头（Headers）才能成功获取网页，否则可能会遇到错误导致无法返回目标页面。接下来将介绍两种添加请求头的具体实现方式。

方法一：使用build_opener与addheaders

方法一：利用build_opener和addheaders进行配置


import urllib.request
url="http://www.meizitu.com"
#注意：在urllib 中headers是元组
headers=("User-Agent","Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36 QIHU 360SE")

opener=urllib.request.build_opener()
opener.addheaders=[headers]
data=opener.open(url)
print(data.read())

需要注意的是，在此方法中，headers参数必须设置为元组（tuple）类型。如果错误地将其写为字典（dict）类型，程序将会抛出异常报错。

方法二：使用Request实例对象

方法二：构建Request实例对象


# 案例1
import urllib.request
url="http://www.meizitu.com"
#注意：在urllib 中这种的headers 是需要是字典的
headers={"User-Agent":"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36 QIHU 360SE"}
req=urllib.request.Request(url=url,headers=headers)
file=urllib.request.urlopen(req)

#出现有些解码错误的话，加上“ignore”就可以啦
print(file.read().decode("utf-8",'ignore'))

在此方法中，headers参数必须设置为字典（dict）类型。

首先创建一个Request对象，将所需的headers、url以及proxy（代理）等参数传入。如果是POST请求，还可以将经过编码处理的data值一并放入。随后使用urlopen打开连接，这种方式操作较为便捷。

此外，该方法还支持使用add_header()函数来追加添加headers，具体代码实现如下：


import urllib.request
try:
  url="http://www.meizitu.com"
  req=urllib.request.Request(url=url)

  req.add_header("User-Agent","Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36 QIHU 360SE")
  file=urllib.request.urlopen(req,timeout=10.1)

  print(file.read().decode("utf-8",'ignore'))
except Exception as e:
  print("时间超时",str(e))