Python3 实现绕过 Referer 防盗链的图片下载方案
本文介绍如何利用 Python3 结合 requests 库破解服务器端的 Referer 防盗链机制。通过构造包含正确 Referer 字段的 HTTP 请求,并借助 Wireshark 抓包分析获取关键信息,实现指定网站图片的批量下载与保存。
本文主要探讨如何破解基于 Referer 字段的防盗链技术。
Referer 防盗链技术原理:
服务器通过检查客户端发起的请求包中是否包含合法的 Referer 字段来阻止图片直接下载。若 Referer 字段缺失或错误,服务器通常会重定向至其他地址,从而导致用户下载到错误的图片或无法获取资源。
在了解上述 Referer 防盗链机制后,下面直接提供相关实现代码。
本示例使用 Python3 环境,代码依赖 requests 库及 html 解析模块(注:html 并非 Python 标准系统包,需额外安装)。
依赖库安装方法:使用 Python 自带的 pip 工具进行下载和安装即可。
import urllib.request
import requests
import time
import os
import shutil
from lxml import html
def getPage():
'''''
从网站首页获取妹子的网址
'''
fres=open('res.txt','w')
htm=urllib.request.urlopen('http://www.mzitu.com/')
out=htm.read()
out=html.fromstring(out)
urls=[]
for res in out.xpath('//ul[@id="pins"]/li/a/@href'):
urls.append(res)
for r in urls:
fres.write(r)
fres.write('\n\r')
fres.close()
return urls
def getPiclink(url):
'''''
获取一个妹子的标题和她的所有图片地址
'''
i_headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:55.0) Gecko/20100101 Firefox/55.0'}
sel=urllib.request.Request(url, headers=i_headers)
#使用代理浏览器访问网站
sel.add_header('Referer', 'http://www.mzitu.com/')
#将referer字段添加到请求包里
sel=urllib.request.urlopen(sel).read()
sel=html.fromstring(sel)
total=sel.xpath('//div[@class="pagenavi"]/a[last()-1]/span/text()')[0]
title=sel.xpath('//h2[@class="main-title"]/text()')[0]
jpglist=[]
for i in range(int(total)):
link='{}/{}'.format(url, i+1)
s=html.fromstring(urllib.request.urlopen(link).read())
jpg=s.xpath('//div[@class="main-image"]/p/a/img/@src')[0]
jpglist.append(jpg)
return title,jpglist
def downloadJpg(title,piclist,link):
'''''
下载getPiclink()获取到的妹子的图片
'''
k=1
count=len(piclist)
dirname=u"[%sP]%s" %(str(count),title)
if os.path.exists(dirname):
shutil.rmtree(dirname)
os.mkdir(dirname)
i_header={}
i_header['Referer']=link
#将getPiclink()获取到的妹子的首页网址作为referer字段的值
for i in piclist:
filename='%s/%s/%s.jpg' %(os.path.abspath('.'),dirname, k)
with open(filename,'wb') as jpg:
jpg.write(requests.get(i, headers=i_header).content)
#将referer字段添加到请求包里并下载图片
time.sleep(0.5)
k+=1
if __name__=='__main__':
for link in getPage():
title,pic=getPiclink(link)
downloadJpg(title,pic,link)
print('OK!')
此外,推荐一款优秀的抓包工具 Wireshark。笔者正是通过 Wireshark 进行抓包分析,从而获取到正确的 Referer 信息以完成请求构造。
以上就是本文的全部内容,希望对各位的学习有所帮助,也欢迎大家继续支持本站。
本站声明
本文内容仅供参考,不代表本站观点。转载或引用请注明出处。如发现内容问题,请通过联系我们页面反馈。













