Python3 实现图片 URL 批量爬取与本地保存完整示例
本文介绍如何使用 Python3 的 urllib 模块批量爬取图片 URL 并保存至本地。内容涵盖从文件读取 URL 列表、构造 HTTP 请求、处理 HTTPError 和 URLError 等常见异常，以及通过递归参数实现断点重连机制。此外，还展示了如何使用修饰器对抓取函数进行计时监控，提供完整的 Python3 代码示例供参考。
Python3 图片爬虫概述与地址获取
在实际开发中，我们常需要从互联网上抓取图片，以应对各种业务场景甚至特殊需求。
一个基础的网络爬虫项目通常包含两个核心步骤：首先获取目标网页地址，其次提取并保存所需数据。
以下示例演示了如何从图片 URL 集合中批量获取图片，这可以作为学习网络爬虫的一个良好起点。
获取地址
如果图片 URL 呈现规律性变化（例如从 001 递增到 099），程序可以通过截取公共前缀，并在末尾进行字符串递增循环来生成地址。
另一种常见情况是 URL 已预先保存在某个文件中，此时程序只需读取该文件并将 URL 加载到列表中即可。
def getUrls(path):
urls = []
with open(path,'r') as f:
for line in f:
urls.append(line.strip('\n'))
return(urls)图片保存与 urllib 模块应用
保存图片
在 Python3 中，urllib 模块提供了丰富的 URL 操作功能，其中 request 子模块能方便地抓取网页内容。它通过发送 GET 请求到指定页面并返回 HTTP 响应来实现数据获取。具体实现细节请参考代码注释。
def requestImg(url, name, num_retries=3):
img_src = url
# print(img_src)
header = {
'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) \
AppleWebKit/537.36 (KHTML, like Gecko) \
Chrome/35.0.1916.114 Safari/537.36',
'Cookie': 'AspxAutoDetectCookieSupport=1'
}
# Request类可以使用给定的header访问URL
req = urllib.request.Request(url=img_src, headers=header)
try:
response = urllib.request.urlopen(req) # 得到访问的网址
filename = name + '.jpg'
with open(filename, "wb") as f:
content = response.read() # 获得图片
f.write(content) # 保存图片
response.close()
except HTTPError as e: # HTTP响应异常处理
print(e.reason)
except URLError as e: # 一定要放到HTTPError之后，因为它包含了前者
print(e.reason)
except IncompleteRead or RemoteDisconnected as e:
if num_retries == 0: # 重连机制
return
else:
requestImg(url, name, num_retries-1)异常处理、重连机制与修饰器
其他
捕获异常
在批量爬取网页时，可能会遇到多种异常。需要注意的是，Python2 中的 urllib2 库对应 Python3 中的 urllib.error，而 httplib 库对应 http.client。具体的异常类映射关系可参考下表。
| Python2 | Pyhton3 |
|---|---|
| urllib2.HTTPError | urllib.error.HTTPError |
| urllib2.URLError | urllib.error.URLError (HTTPError被包含其中) |
| httplib.IncompleteRead | http.client.IncompleteRead |
| httplib.RemoteDisconnected | http.client.RemoteDisconnected |
重连机制
可以在函数参数中定义一个默认参数 num_retries 用于初始化重试次数。当发生特定异常时，将该参数值递减，并递归调用自身，从而实现基本的断线重连机制。
修饰器
修饰器模式是一种设计模式，允许在不修改目标函数源代码的前提下，在函数执行前后添加额外功能。
def clock(func): # 修饰器函数，对函数计时
def clocked(*args):
t0 = timeit.default_timer()
result = func(*args)
elapsed = timeit.default_timer() - t0
name = func.__name__
arg_str = ', '.join(repr(arg) for arg in args)
print('[%0.8fs] %s(%s)' % (elapsed, name, arg_str))
# print('%s(%s) -> %r [%0.8fs]' % (name, arg_str, result, elapsed))
return result
return clocked上述代码展示了如何使用修饰器对函数运行时间进行计时。只需在需要计时的函数定义前添加相应的修饰器代码即可实现。
@clock完整代码实现
完整代码
from urllib.error import HTTPError, URLError
from http.client import IncompleteRead, RemoteDisconnected
import timeit, time
import urllib.request
import socket
# timeout = 20
# socket.setdefaulttimeout(timeout) # 等待，防止被简单地反爬
def getUrls(path):
urls = []
with open(path,'r') as f:
for line in f:
urls.append(line.strip('\n'))
return(urls)
def clock(func): # 修饰器函数，对函数计时
def clocked(*args):
t0 = timeit.default_timer()
result = func(*args)
elapsed = timeit.default_timer() - t0
name = func.__name__
arg_str = ', '.join(repr(arg) for arg in args)
print('[%0.8fs] %s(%s)' % (elapsed, name, arg_str))
# print('%s(%s) -> %r [%0.8fs]' % (name, arg_str, result, elapsed))
return result
return clocked
@clock
def requestImg(url, name, num_retries=3):
img_src = url
# print(img_src)
header = {
'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) \
AppleWebKit/537.36 (KHTML, like Gecko) \
Chrome/35.0.1916.114 Safari/537.36',
'Cookie': 'AspxAutoDetectCookieSupport=1'
}
req = urllib.request.Request(url=img_src, headers=header)
try:
response = urllib.request.urlopen(req)
filename = name + '.jpg'
with open(filename, "wb") as f:
content = response.read()
f.write(content)
response.close()
except HTTPError as e:
print(e.reason)
except URLError as e:
print(e.reason)
except IncompleteRead or RemoteDisconnected as e:
if num_retries == 0:
return
else:
requestImg(url, name, num_retries-1)
if __name__ =='__main__':
urls = getUrls('./'URLS.txt') # 换成你的URL文件路径
nLines = len(urls)
print(nLines)
for index, value in enumerate(urls):
requestImg(value, './'+str(index).zfill(6)) # zfill用来格式化数字：000001
以上关于 Python3 直接爬取图片 URL 并保存的示例即为全部内容，希望能为读者提供有价值的参考，并欢迎大家支持相关技术社区。
本站声明
本文内容仅供参考，不代表本站观点。转载或引用请注明出处。如发现内容问题，请通过联系我们页面反馈。
