<>1 使用代理ip的目的

* 让服务器以为不是同一个客户端在请求
* 防止我们的真实地址被泄露,防止被追究
<>2 使用代理的过程



<>3 正向代理和反向代理的区别


通过上图可以看出:

* 正向代理:对于浏览器知道服务器的真实地址,例如VPN
* 反向代理:浏览器不知道服务器的真实地址,例如nginx
是否知道服务器的真实地址是正向代理和反向代理的主要区别
<>4 代理的使用

* 用法: requests.get(“http://www.baidu.com <http://www.baidu.com>”, proxies =
proxies)
* proxies的形式:字典
* 例如:
proxies = {
“http”: “http://12.34.56.79:9527 <http://12.34.56.79:9527>”,
“https”: “https://12.34.56.79:9527 <https://12.34.56.79:9527>”,
}

<>5 代理IP的分类

根据代理ip的匿名程度,代理IP可以分为下面四类:

*
透明代理(Transparent Proxy):透明代理虽然可以直接“隐藏”你的IP地址,但是还是可以查到你是谁。

*
匿名代理(Anonymous Proxy):匿名代理比透明代理进步了一点:别人只能知道你用了代理,无法知道你是谁。

*
混淆代理(Distorting Proxies):与匿名代理相同,如果使用了混淆代理,别人还是能知道你在用代理,但是会得到一个假的IP地址,伪装的更逼真

*
高匿代理(Elite proxy或High Anonymity Proxy):可以看出来,高匿代理让别人根本无法发现你是在用代理,所以是最好的选择。

在使用的使用,毫无疑问使用高匿代理效果最好

从使用的协议:代理ip可以分为http代理,https代理,socket代理等,使用的时候需要根据抓取网站的协议来选择

<>6 代理IP使用的注意点

*
反反爬
使用代理ip是非常必要的一种反反爬的方式,但是即使使用了代理ip,对方服务器任然会有很多的方式来检测我们是否是一个爬虫

比如:

* 一段时间内,检测IP访问的频率,访问太多频繁会屏蔽
* 检查Cookie,User-Agent,Referer等header参数,若没有则屏蔽
* 服务方购买所有代理提供商,加入到反爬虫数据库里,若检测是代理则屏蔽
所以更好的方式是购买质量更高的代理组装自己的代理IP池,同时在使用的时候使用随机的方式进行选择使用,不要每次都用一个代理ip

*
代理ip池的更新

购买的代理ip很多时候大部分(超过60%)可能都没办法使用,这个时候就需要通过程序去检测哪些可用,把不能用的删除掉。对应的实现方式在我们学习了超时参数的使用之后大家会了解

<>7.代理ip获取方式

代理ip获取方式主要有通过程序扫描/ADSL拨号服务器/VPN软件等,以下博客已经详细介绍,网址如下:
https://blog.csdn.net/qq_18145031/article/details/78531956
<https://blog.csdn.net/qq_18145031/article/details/78531956>

<>以上内容仅个人总结所得,若有雷同之处,纯属巧合!

<>若有不同见解之处,欢迎大家一起商讨!若有错误之处,还请帮忙指出!