Python使用urllib2抓取网页内容示例

橘子海

发布时间：2026-10-13 | 2人浏览过

原创

本文介绍如何使用Python的urllib2模块实现简单的网页内容抓取。通过普通抓取和带参数的GET请求两个实例，演示如何构建Request对象、发送请求、处理状态码及读取网页内容，适用于Python初学者学习网络请求基础。

本文通过具体示例，展示如何利用Python实现基础的网页内容抓取功能，供读者参考学习。

主要使用的模块如下：

import urllib2 
import urllib

以下是普通抓取网页的示例代码：

#!/usr/bin/python
# -*- coding: UTF-8 -*-
import urllib2
url = 'http://www.baidu.com'
#创建request对象
request = urllib2.Request(url)
#发送请求，获取结果
try:
 response = urllib2.urlopen(request)
except BaseException, err:
 print err
 exit()
#获取状态码，如果是200表示获取成功
code = response.getcode()
print code
#读取内容
if 200 == code:
 content = response.read() 
 print content

以下是通过GET请求方式抓取网页的示例代码：

#!/usr/bin/python
# -*- coding: UTF-8 -*-
import urllib2
import urllib
#urllib2使用GET方式的请求
url = 'http://www.baidu.com/s'
values = {'wd' : '车云'}
# 必须编码
data = urllib.urlencode(values) 
url = url + '?' + data 
print url
#url == http://www.baidu.com/s?wd=%E8%BD%A6%E4%BA%91
#创建request对象
request = urllib2.Request(url)
#发送请求，获取结果
try:
 response = urllib2.urlopen(request)
except BaseException, err:
 print err
 exit()
#获取状态码，如果是200表示获取成功
code = response.getcode()
print code
#读取内容
if 200 == code:
 content = response.read() 
 print content

如需了解更多Python相关知识，可参考本站系列教程，包括《Python Socket编程技巧总结》、《Python正则表达式用法总结》、《Python数据结构与算法教程》、《Python函数使用技巧总结》、《Python字符串操作技巧汇总》、《Python入门与进阶经典教程》以及《Python文件与目录操作技巧汇总》。

希望上述内容能对您的Python编程实践有所帮助。