Python爬虫利用代理池更换IP的方法步骤

听雨眠

发布时间：2026-10-14 | 6人浏览过

原创

本文介绍在Python爬虫开发中，针对高并发请求导致IP被封禁的问题，使用开源项目proxy_pool搭建代理池的完整流程。涵盖从Python虚拟环境搭建、Redis依赖安装，到配置文件修改、服务启动及代码测试的具体步骤，帮助开发者实现IP自动轮换与异常处理。

前言

在周日尝试抓取一个国外网站时，由于使用了协程进行高并发请求且频率过高，服务器IP被目标网站封禁。为解决此问题，搜索并选用了一个Star数较高的开源Python代理池项目：proxy_pool。

安装环境


# 安装python虚拟环境， python环境最好为python3.6，再往上的话，安装依赖时会报错
sudo apt update
sudo apt install python3.6
pip3 install virtualenv
virtualenv venv --python=python3.6
source venv/bin/activate

# 安装redis
sudo apt install redis-server
# 启动redis server
redis-server

安装依赖


git clone https://github.com/jhao104/proxy_pool.git
cd proxy_pool
pip install -r requirements.txt

修改配置文件


# 修改setting.py 

# 配置API服务

HOST = "0.0.0.0"    # IP
PORT = 5010     # 监听端口

# 配置数据库

# 以下为三个示例，根据redis的配置，选择其中一种即可
# 一般启动redis时如果没有配置文件，那么选择第一种即可
# 1. Redis IP: 127.0.0.1 Port: 6379
DB_CONN = 'redis://@127.0.0.1:6379'
# 2. Redis IP: 127.0.0.1 Port: 6379 Password: 123456
DB_CONN = 'redis://:123456@127.0.0.1:6379'
# 3. Redis IP: 127.0.0.1 Port: 6379 Password: 123456 DB: 15
DB_CONN = 'redis://:123456@127.0.0.1:6379/15'

 

# 配置 ProxyFetcher

PROXY_FETCHER = [
 "freeProxy01",  # 这里是启用的代理抓取方法名，所有fetch方法位于fetcher/proxyFetcher.py
 "freeProxy02",
 # ....
]

启动


# 可以用tmux开三个窗口

# 启动调度程序
python proxyPool.py schedule

# 启动webApi服务
python proxyPool.py server

测试


import requests

def get_proxy():
 return requests.get("http://127.0.0.1:5010/get/").json()

def delete_proxy(proxy):
 requests.get("http://127.0.0.1:5010/delete/?proxy={}".format(proxy))

# your spider code

def getHtml():
 # ....
 retry_count = 5
 proxy = get_proxy().get("proxy")
 while retry_count > 0:
  try:
   html = requests.get('http://www.example.com', proxies={"http": "http://{}".format(proxy)})
   # 使用代理访问
   return html
  except Exception:
   retry_count -= 1
 # 删除代理池中代理
 delete_proxy(proxy)
 return None