Python爬虫利用cookie实现模拟登录实例详解
本文详解Python爬虫中利用cookielib模块实现模拟登录的方法。通过构建CookieJar及子类MozillaCookieJar，结合urllib2的build_opener，可自动捕获并保存网站Cookie。文章涵盖从获取Cookie、保存到文件（cookie.txt）再到读取Cookie访问受限页面的完整流程，帮助开发者突破游客限制，高效抓取目标网页数据。
Cookie是指某些网站为了辨别用户身份、进行Session跟踪而储存在用户本地终端上的数据，通常这些数据会经过加密处理。
举例来说，部分网站内容需要登录才能查看，未登录状态仅能作为游客访问。我们可以利用Urllib2库保存之前登录过的Cookie，随后加载该Cookie以获取所需页面，进而进行数据抓取。理解Cookie机制主要是为了快捷地模拟登录并抓取目标网页做准备。
在之前的文章中曾使用urlopen()函数打开网页进行抓取，但这只是一个简单的Python网页打开器，其参数仅包含urlopen(url, data, timeout)，这三个参数对于获取目标网页的Cookie而言远远不够。此时，我们需要利用另一种Opener——CookieJar。
cookielib也是Python进行爬虫的重要模块，它能与urllib2相互结合以爬取所需内容。该模块中的CookieJar类对象可以捕获Cookie，并在后续的连接请求中重新发送，从而实现我们所需的模拟登录功能。
这里特别说明，cookielib是Python 2.7中自带的模块，无需重新安装。若想查看其自带模块，可查阅Python目录下的Lib文件夹，其中包含所有已安装的模块。起初我未注意到这一点，在PyCharm中搜索cookielib时竟然未找到，尝试快捷安装也报错：Couldn't find index page for 'Cookielib' (maybe misspelled?)。
随后才想起这是否是自带模块，去Lib文件夹查看后发现确实存在，白白浪费了半个小时进行各种无谓的折腾。
接下来介绍该模块，其主要对象包括CookieJar、FileCookieJar、MozillaCookieJar和LWPCookieJar。
它们的关系为：CookieJar派生出FileCookieJar，FileCookieJar再派生出MozillaCookieJar和LWPCookieJar。主要用法下文也会详细讲解。注意，urllib2.urlopen()函数不支持验证、Cookie或其他HTTP高级功能。要支持这些功能，必须使用build_opener()函数创建自定义Opener对象（该函数可用于让Python程序模拟浏览器进行访问，作用不言自明）。
1、首先我们来获取网站的Cookie。
示例代码如下：
#coding=utf-8
import cookielib
import urllib2
mycookie = cookielib.CookieJar() #声明一个CookieJar的类对象保存cookie(注意CookieJar的大小写问题)
handler = urllib2.HTTPCookieProcessor(mycookie) #利用urllib2库中的HTTPCookieProcessor来声明一个处理cookie的处理器
opener = urllib2.build_opener(handler) #利用handler来构造opener，opener的用法和urlopen()类似
response = opener.open("http://www.baidu.com") #opener返回的一个应答对象response
for item in my.cookie:
print"name="+item.name
print"value="+item.value
运行结果如下：
name=BAIDUID value=73BD718962A6EA0DAD4CB9578A08FDD0:FG=1 name=BIDUPSID value=73BD718962A6EA0DAD4CB9578A08FDD0 name=H_PS_PSSID value=1450_19035_21122_17001_21454_21409_21394_21377_21526_21189_21398 name=PSTM value=1478834132 name=BDSVRTM value=0 name=BD_HOME value=0
这样我们就得到了一个最简单的Cookie。
2、将Cookie保存到文件。
上面我们获取了Cookie，接下来学习如何保存Cookie。在这里我们使用它的子类MozillaCookieJar来实现Cookie的保存。
示例代码如下：
#coding=utf-8
import cookielib
import urllib2
mycookie = cookielib.MozillaCookieJar() #声明一个MozillaCookieJar的类对象保存cookie(注意MozillaCookieJar的大小写问题)
handler = urllib2.HTTPCookieProcessor(mycookie) #利用urllib2库中的HTTPCookieProcessor来声明一个处理cookie的处理器
opener = urllib2.build_opener(handler) #利用handler来构造opener，opener的用法和urlopen()类似
response = opener.open("http://www.baidu.com") #opener返回的一个应答对象response
for item in mycookie:
print"name="+item.name
print"value="+item.value
filename='mycookie.txt'#设定保存的文件名
mycookie.save(filename,ignore_discard=True, ignore_expires=True)
将上面的例子简单变形即可得到本例，使用了CookieJar的子类MozillaCookieJar。为什么要这样做？我们将MozillaCookieJar换成CookieJar试试，通过下面一张图你就能明白：
CookieJar是没有save属性的。
在save()方法中：ignore_discard的意思是即使Cookies将被丢弃也将它保存下来；ignore_expires的意思是如果在该文件中Cookies已经存在，则覆盖原文件写入。在这里，我们将这两个参数全部设置为True。运行之后，Cookies将被保存到cookie.txt文件中，我们查看一下内容：
这样我们就成功保存了我们想要的Cookie。
3、从文件中获取Cookie并访问。
<pre style="background-color: rgb(255, 255, 255); font-family: 宋体; font-size: 9pt;"><pre name="code" class="python">#coding=utf-8
import urllib2
import cookielib
import urllib
#第一步先给出账户密码网址准备模拟登录
postdata = urllib.urlencode({
'stuid': '1605122162',
'pwd': 'xxxxxxxxx'#密码这里就不泄漏啦，嘿嘿嘿
})
loginUrl = 'http://ids.xidian.edu.cn/authserver/login?service=http%3A%2F%2Fjwxt.xidian.edu.cn%2Fcaslogin.jsp'# 登录教务系统的URL，成绩查询网址
# 第二步模拟登陆并保存登录的cookie
filename = 'cookie.txt' #创建文本保存cookie
mycookie = cookielib.MozillaCookieJar(filename) # 声明一个MozillaCookieJar对象实例来保存cookie，之后写入文件
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(mycookie)) #定义这个opener，对象是cookie
result = opener.open(loginUrl, postdata)
mycookie.save(ignore_discard=True, ignore_expires=True)# 保存cookie到cookie.txt中
# 第三步利用cookie请求访问另一个网址，教务系统总址
gradeUrl = 'http://ids.xidian.edu.cn/authserver/login?service' #只要是帐号密码一样的网址就可以， 请求访问成绩查询网址
result = opener.open(gradeUrl)
print result.read()</pre><br>
<pre></pre>
<pre></pre>
<p></p>
<pre></pre>
<pre></pre>
创建一个带有cookie的opener，在访问登录的URL时，将登录后的cookie保存下来，然后利用这个cookie来访问其他网址。
<p></p>
<p><br>
</p>
<p>核心思想：创建opener,包含了cookie的内容。之后在利用opener时，就会自动使用原先保存的cookie.<br>
<br>
</p>
</pre>
感谢阅读，希望能帮助到大家，谢谢大家对本站的支持！
本站声明
本文内容仅供参考，不代表本站观点。转载或引用请注明出处。如发现内容问题，请通过联系我们页面反馈。
