Python验证代理IP可用性的多种实现方案
发布时间：2026-10-13 |
4人浏览过
本文介绍在Python中验证代理IP可用性的几种方法。通过urllib2构建代理 opener、使用requests库简化代码，以及利用telnetlib进行端口连通性测试。重点解析如何判断代理是否有效，并将可用IP存入Redis以便后续爬虫调用，帮助解决IP被封问题。
在进行网络数据爬取时，若对同一网站持续抓取，可能会遭遇IP被封禁的情况。此时，可以通过更换代理IP来绕过服务器的IP封锁限制。
在网络上搜索免费代理IP，可以找到大量相关网站。本文以西刺网站为例，演示如何抓取其提供的代理信息。
首先编写一个爬虫程序，从目标网站抓取IP地址、端口号及代理类型，并将这些信息存储到本地文件中。具体抓取过程此处略过。
接下来验证代理IP是否可用。基本原理是使用该代理IP访问指定网站，若返回状态码为200，则表明该代理可用。
# _*_ coding:utf-8 _*_
import urllib2
import re
class TestProxy(object):
def __init__(self):
self.ip = '106.46.136.64'
self.port = '808'
self.url = 'http://www.baidu.com'
self.timeout = 3
self.regex = re.compile(r'baidu.com')
self.run()
def run(self):
self.linkWithProxy()
def linkWithProxy(self):
server = 'http://'+ self.ip + ':'+ self.port
opener = urllib2.build_opener(urllib2.ProxyHandler({'http':server}))
urllib2.install_opener(opener)
try:
response = urllib2.urlopen(self.url, timeout=self.timeout)
except:
print '%s connect failed' % server
return
else:
try:
str = response.read()
except:
print '%s connect failed' % server
return
if self.regex.search(str):
print '%s connect success .......' % server
print self.ip + ':' + self.port
if __name__ == '__main__':
Tp = TestProxy()
此外，还可以使用requests包进行验证，这种方式可以显著减少代码量。
import requests
try:
requests.get('http://wenshu.court.gov.cn/', proxies={"http":"http://121.31.154.12:8123"})
except:
print 'connect failed'
else:
print 'success'
将验证通过的IP保存到Redis数据库中。当原始IP被禁止时，可以从Redis中获取可用的代理IP继续使用。
根据@齐俊杰的建议，补充一种使用telnet进行验证的方法。
import telnetlib
try:
telnetlib.Telnet('127.0.0.1', port='80', timeout=20)
except:
print 'connect failed'
else:
print 'success'
总结
以上介绍了使用Python验证代理IP是否可用的几种方法，希望能对大家有所帮助。如有任何疑问，欢迎留言，小编会及时回复。感谢大家对本站的支持！
本站声明
本文内容仅供参考，不代表本站观点。转载或引用请注明出处。如发现内容问题，请通过联系我们页面反馈。
