既然搜索引擎能搜到这么多提供代理的网站,每个网站提供几十或几百个,假如有10家网站,那加在一起也有几百到几千个IP。那么好了,你要做的事情就是,把这些网站记录下来,用程序把IP抓过来就好了,想想是不是很简单?
等等,这么多IP,难道别人真的就免费送给你了么?当然不是,这些代理中,有很大一部分已经是失效的了。那么怎么办?如何知道哪些代理是有效,哪些是不可用的呢?
很简单,挂上这些代理,访问某一个稳定的网站,然后看是否能正常访问,可以正常访问的就是可用的,不能访问的不就是无效的嘛。
最快速的,用curl命令就可以测试某个代理是否可用:
# 使用代理 48.139.133.93:3128 访问 网易首页curl -x "48.139.133.93:3128" "http://www.163.com"
当然,这种方式只是为了演示方便,实际最好的方式是用多线程方式,使用代理去访问某个网站,然后输出可用的代理,这样做能最快速的找出可用代理。
也可以利用访问http://icanhazip.com/返回的IP进行测试
说明:利用的http://icanhazip.com/返回的IP进行校验,如返回的是代理池的IP,说明代理有效,否则实际代理无效。
以上介绍了两种检测代理ip是否有效的方法,哪个是最快找出可用代理ip方法呢?大家可以测试下的。