Python爬虫使用浏览器cookies：browsercookie过程解析

爬虫与反爬的博弈及Cookie机制

许多Python开发者都曾尝试编写网络爬虫以自动化获取网络数据，这确实是一项令人愉悦的工作，而Python提供了极佳的支持。然而，爬虫开发者常面临各种登录验证和反爬机制的阻碍，令人倍感挫败（网站方同样因频繁遭遇爬虫抓取而感到困扰）。爬虫与反爬虫技术之间如同猫鼠游戏，双方不断博弈，道高一尺魔高一丈，纠缠不休。

鉴于HTTP协议的无状态特性，网站的登录验证通常依赖于Cookie的传递。当用户通过浏览器成功登录后，浏览器会保存相关的Cookie信息。随后再次访问该网站时，浏览器会自动携带这些已保存的Cookie；只要Cookie未过期，网站便会识别用户仍处于登录状态。

browsercookie模块正是用于从浏览器中提取已保存Cookie的工具。作为一个实用的爬虫辅助库，它能够将浏览器中存储的Cookie加载到cookiejar对象中，从而帮助用户轻松下载需要登录权限的网页内容。

browsercookie模块安装与环境配置

安装

pip install browsercookie

在Windows系统环境下，内置的sqlite模块在尝试加载Firefox数据库时可能会抛出错误。此时需要更新sqlite的版本：

pip install pysqlite

browsercookie模块实战应用

使用方法

以下示例展示了如何从网页中提取标题：

>>> import re
>>> get_title = lambda html: re.findall('<title>(.*?)</title>', html, flags=re.DOTALL)[0].strip()

以下是未登录状态下下载得到的标题结果：

>>> import urllib2
>>> url = 'https://bitbucket.org/'
>>> public_html = urllib2.urlopen(url).read()
>>> get_title(public_html)
'Git and Mercurial code management for teams'

接下来，我们将使用browsercookie从已登录Bitbucket的Firefox浏览器中获取Cookie，并再次尝试下载：

>>> import browsercookie
>>> cj = browsercookie.firefox()
>>> opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj))
>>> login_html = opener.open(url).read()
>>> get_title(login_html)
'richardpenman / home — Bitbucket'

上述代码为Python2版本，下面演示Python3环境下的用法：

>>> import urllib.request
>>> public_html = urllib.request.urlopen(url).read()
>>> opener = urllib.request.build_opener(urllib.request.HTTPCookieProcessor(cj))

从结果中可以看到用户名出现在标题中，这表明browsercookie模块成功从Firefox加载了Cookie。小编整理了一套Python学习资料和PDF文档，如有需要可加入学习群：631441315，既然空闲，不如借此机会学习一些实用技能。

以下是结合requests库的使用示例，此次我们从Chrome浏览器加载Cookie（前提是你已使用Chrome登录过Bitbucket）：

>>> import requests
>>> cj = browsercookie.chrome()
>>> r = requests.get(url, cookies=cj)
>>> get_title(r.content)
'richardpenman / home — Bitbucket'

如果你不确定或不关心哪个浏览器中存有所需的Cookie，可以采用以下通用操作方式：

>>> cj = browsercookie.load()
>>> r = requests.get(url, cookies=cj)
>>> get_title(r.content)
'richardpenman / home — Bitbucket'

支持

目前，该模块支持以下平台：

Chrome: Linux, OSX, Windows

Firefox: Linux, OSX, Windows

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持本站。