Python多线程图片下载器实现与源码解析
本文介绍如何使用Python多线程技术构建一个支持百度、必应和谷歌的图片下载器。通过requests获取接口数据，利用threading库实现并发搜索与下载，配合alive-progress显示进度条。文章提供了完整的开发环境配置、核心代码逻辑及命令行使用示例，适用于构建小型图像分类数据集。
导语
近期不少读者反馈希望学习如何编写多线程图片下载器。尽管该话题已讨论多次，但此次仍进行详细梳理。之所以将其定义为构建小型数据集，是因为后续文章将利用该工具生成简单的图像分类数据集。这意味着未来一段时间，本公众号将聚焦于深度学习与机器学习相关内容，具体细节将在下期揭晓。
接下来，我们直接进入近期最后一篇爬虫教程的核心部分。
开发工具
Python版本：3.7.8
相关模块：
requests模块；
alive-progress模块；
pyfreeproxy模块；
user_agent模块；
beautifulsoup4模块；
lxml模块；
以及一些python自带的模块。
环境搭建
安装Python并添加到环境变量，pip安装需要的相关模块即可。
原理简介
观察发现，大多数用户习惯从百度、必应和谷歌根据关键词下载图片，因此本项目同样选用这三个数据源。具体而言，百度的图片搜索接口如下：
'https://image.baidu.com/search/acjson?tn=resultjson_com&ipn=rj&ct=201326592&lm=7&fp=result&ie=utf-8&oe=utf-8&st=-1&word={}&queryWord={}&face=0&pn={}&rn={}'
为了实现多线程图片搜索，我们首先根据目标下载数量构造所有请求页的链接，如下所示：
search_urls, pagesize = [], 30
for pn in range(math.ceil(search_limits * 1.2 / pagesize)):
search_url = base_url.format(quote(keyword), quote(keyword), pn * pagesize, pagesize)
search_urls.append(search_url)随后，通过多线程方式请求所有构造好的搜索链接：
# 多线程请求获取所有图片链接
def searchapi(self, search_urls, image_urls, bar):
while len(search_urls) > 0:
search_url = search_urls.pop(0)
response = self.get(search_url)
if response is None:
bar()
continue
response.encoding = 'utf-8'
response_json = json.loads(response.text.replace(r"\'", ""), encoding='utf-8', strict=False)
for item in response_json['data']:
if 'objURL' in item.keys():
image_urls.add(self.parseurl(item['objURL']))
elif 'replaceUrl' in item.keys() and len(item['replaceUrl']) == 2:
image_urls.add(item['replaceUrl'][1]['ObjURL'])
bar()
task_pool, image_urls = [], set()
with alive_bar(min(len(search_urls), search_limits)) as bar:
for idx in range(num_threadings):
task = threading.Thread(
target=searchapi,
args=(self, search_urls, image_urls, bar)
)
task_pool.append(task)
task.start()
for task in task_pool: task.join()线程结束的条件是构造的所有请求页链接search_urls全部被处理完毕。这里使用了Python基础的threading库，虽然Python可能有更优秀多线程库，但感兴趣者可自行研究，此处为求简便直接采用threading。调用时只需指定target为目标函数，args为参数，最后start即可。
同理，根据获取到的image_urls，我们可以编写多线程图片下载器：
'''下载'''
def download(self, keyword, search_limits=1000, num_threadings=5, savedir='outputs'):
touchdir(savedir)
# 获得image_urls
self.logging(f'Start to search images from {self.source_name}')
image_urls = self.search(keyword, search_limits, num_threadings)
# 多线程下载图片
self.logging(f'Start to download images from {self.source_name}')
def downloadapi(self, savepaths, image_urls, bar):
assert len(savepaths) == len(image_urls)
while len(image_urls) > 0:
savepath, image_url = savepaths.pop(0), image_urls.pop(0)
response = self.get(image_url)
if response is None:
bar()
continue
with open(savepath, 'wb') as fp: fp.write(response.content)
filetype = imghdr.what(savepath)
if filetype in ['jpg', 'jpeg', 'png', 'bmp', 'gif']:
savepath_correct = f'{savepath}.{filetype}'
shutil.move(savepath, savepath_correct)
else:
os.remove(savepath)
bar()
task_pool, savepaths = [], []
for idx in range(len(image_urls)):
savename = f'image_{str(idx).zfill(8)}'
savepaths.append(os.path.join(savedir, savename))
with alive_bar(len(image_urls)) as bar:
for idx in range(num_threadings):
task = threading.Thread(
target=downloadapi,
args=(self, savepaths, image_urls, bar)
)
task_pool.append(task)
task.start()
for task in task_pool: task.join()接着，必应的图片搜索接口如下：
# 构建所有urls
base_url = 'https://cn.bing.com/images/async?q={}&first={}&count={}&cw=1536&ch=240&relp={}&tsc=ImageBasicHover&datsrc=I&layout=RowBased&mmasync=1&dgState=x*1063_y*768_h*186_c*5_i*71_r*10&IG=D6A4AD486F3A49F1BE164BC50750D641&SFX=3&iid=images.5555'
search_urls, pagesize = [], 35
for pn in range(math.ceil(search_limits * 1.2 / pagesize)):
search_url = base_url.format(quote(keyword), pn * pagesize, pagesize, pagesize)
search_urls.append(search_url)谷歌的图片搜索接口如下：
# 构建所有urls
base_url = 'https://www.google.com/search?'
search_urls, pagesize = [], 20
for pn in range(math.ceil(search_limits * 1.2 / pagesize)):
params = {
'q': keyword,
'ijn': pn,
'start': pn * pagesize,
'tbs': '',
'tbm': 'isch',
}
search_urls.append(base_url + urlencode(params))具体的多线程搜索和下载图片的写法和百度的类似，大功告成啦。
效果展示
你只需要pip安装一下，就可以直接在终端运行了。安装命令如下：
pip install pyimagedl使用方式如下：
Usage: imagedl [OPTIONS]
Options:
--version Show the version and exit.
-k, --keyword TEXT 想要搜索下载的图片关键字, 若不指定, 则进入imagedl终端版
-s, --savedir TEXT 下载的图片的保存路径
-t, --target TEXT 指定图片搜索下载的平台, 例如"baidu"
-l, --limits INTEGER 下载的图片数量
-n, --nthreadings INTEGER 使用的线程数量
--help Show this message and exit.例如，在终端输入：
imagedl -k 狗狗 -s dogs -t baidu -l 1000
到此这篇关于利用Python多线程实现图片下载器的文章就介绍到这了,更多相关Python图片下载内容请搜索本站以前的文章或继续浏览下面的相关文章希望大家以后多多支持本站！
本站声明
本文内容仅供参考，不代表本站观点。转载或引用请注明出处。如发现内容问题，请通过联系我们页面反馈。
