您的位置: 网站首页> selenium爬虫> 当前文章

selenium不重启更改代理ip(使用隧道代理)

老董2021-10-21182围观,117赞

  selenium添加代理ip非常简单,直接这样即可:

	  options.add_argument('--proxy-server=http://ip:port') # 代理IP:端口

  用这个driver请求任何网页都将使用这个代理ip地址。但是我们用selenium采集数据的时候需要切换ip,如果切换ip就得重启1个driver添加代理ip,如果请求成千上万的页面反复重启driver显然是不合适的。那么selenium如何可以不用切换就使用代理ip呢?

  我目前只想到了一种方法:购买隧道代理(或者叫动态转发)。隧道代理是动态IP代理服务器,将换IP操作放到云端,用户在代码层面不用去请求获取代理ip再添加代理ip,而是直接用代理隧道这个ip和端口即可。隧道代理会将请求转发到不同的代理IP,转发周期可以按需指定,具体看代理商的套餐。

  买1个隧道代理,然后把隧道代理的ip和端口添加到1个driver,这样一来我们请求任何网页,代理商那边会自动帮我们进行动态转发来实现换ip。

options.add_argument('--proxy-server=http://tunnelhost:tunnelport')  # 隧道域名:端口号

  PS:如果隧道代理需要进行HTTP Basic Auth身份认证,那么selenium起来使用较为复杂(温馨提示:需要借助add_extension的方式来实现),具体可以加站长微信咨询(站长每日耕田,如果回复慢的花直接砸个红包提醒)。

很赞哦!

python编程网提示:转载请注明来源www.python66.com。
有宝贵意见可添加站长微信(底部),获取技术资料请到公众号(底部)。同行交流请加群 python学习会

上一篇:selenium谷歌浏览器崩溃out of memory彻底解决

下一篇:没有了

文章评论

    selenium不重启更改代理ip(使用隧道代理)文章写得不错,值得赞赏

站点信息

  • 网站程序:Laravel
  • 博主微信:a772483200