Python模拟登录并维持Cookie状态实战:以nosec.org为例
本文详解如何利用Python的Requests库模拟网站登录并维持Cookie状态。针对nosec.org等需要动态Token的网站,通过解析页面获取authenticity_token,结合用户名密码POST提交,实现自动登录。文章提供完整代码示例,解析Session对象复用机制,帮助开发者解决爬虫登录验证及会话保持问题。
前言
近期在进行nosec.org数据抓取时,发现该站点要求先模拟登录获取Cookie方可访问目标数据。关键在于其登录表单中包含一个authenticity_token字段,每次访问登录页时由服务器动态生成,且该Token需与用户名、密码一同POST至服务器。
研究过程中发现,直接访问网站登录界面时,服务器响应头中会包含Set-Cookie字段,示例如下:
_nosec_session=ZTlHNmxuZXE4R0s1UXpsVUxGRTNPblNBWFd2TXU4TU9aNWVJM2lyLzNFY0pLeUdNMDY1cmZqanpkc0ppaGtjU i9kTGdWenBrNXJKenNqbnN2YUxucE1DRW5UMHNTR1RxWDZPeGlLazllTmY1czVpYWplazJXdWkvZS9wUHJpc1Jya3ZzcmNVMytPR it2T1dEcGx4bHNDTTVzSmVTb0xhSjRycE03QUl5RXE5Z2tZWG1mTHFBWGx1QW52QjBURi8rLS1acE8yeVRtMFRZR1JWdExneStwdmpRPT0 %3D--a6ccd9a12a8af5c8b5fb6625c24bb4db0398c503; path=/; HttpOnly
同时,页面表单中存在一个名为authenticity_token的隐藏输入框,其内容结构如下:
<input type="hidden" name="authenticity_token" value="cGdhqVxDMRndpKbpvIV66wfEQlGf4Rz6UtXqsf79brEvFveHw2rCc6uz3euFEyUlpuA0azt5uNhnmrUiCaAyUg==" />
此前曾尝试通过后端逻辑分析_nosec_session的值,经解密及多种处理手段推导authenticity_token,再配合用户名和密码POST提交。这种过度依赖后端思维的方式并不高效,因此改为直接从页面抓取已生成的authenticity_token值,并顺带POST提交即可。
使用Requests库的Session() 方法,确实非常便捷,比早期直接使用cookielib模块要方便得多。
代码
类XXX的login方法用于模拟登录,此处仅展示核心登录代码部分。
class XXX:
def login(self):
r = self.s.get('https://nosec.org/users/sign_in')
html = r.text
p1 = re.compile(r'city_token" value="(.*?)"')
res = re.search(p1,html)
authenticity_token = str(res.group(1))
print 'authenticity_token:',authenticity_token
# print 'cookies',self.s.cookies
# print s.cookies
data = {
'authenticity_token':authenticity_token,
'user[login]':'xxxxx',
'user[password]':'xxxxx'
}
r = self.s.post('https://nosec.org/users/sign_in',data=data)
# print r.headers
# print r.request.headers
# print self.s.cookies
print '[*] OK!'
return True调用login方法后,后续直接使用self.s.get()请求网页时,即可自动携带已获取的Cookie。
此前曾因思路偏差及笔误(将https误写为http)导致排查困难,耗时良久才发现该“BUG”。因此,良好的代码结构对提高排错效率至关重要,这也算是个教训吧 2333!
总结
以上就是本文的全部内容,希望本文的内容对大家的学习或者工作能带来一定的帮助,如果有疑问大家可以留言交流,谢谢大家对本站的支持。
本站声明
本文内容仅供参考,不代表本站观点。转载或引用请注明出处。如发现内容问题,请通过联系我们页面反馈。













