来源:python中国网 时间:2020-05-09

  selenium很笨重并且有各种奇葩问题,鄙人在使用之中记录了一些奇葩问题供大家参照!我用的是selenium3.14版本。

  须知:selenium遇见的坑很多和webdriver和浏览器的版本有关系,这个版本没问题换个版本就出问题了!坑是收集不完的,但是也未必全能踩到坑。边用边总结吧!(持续更新)

  1 规避检测失败

  selenium驱动的浏览器后window.navigator.webdriver值是true,正常的浏览器这个值是未定义的(undefined)。对方网站根据这个特征容易识别出来你是爬虫!为了规避检测需要配置。

option.add_experimental_option("excludeSwitches", ['enable-automation']) 

  但是ChromeDriver 79.0.3945.36版本修复了非无头模式下排除“启用自动化”时window.navigator.webdriver是未定义的问题,无法通过更改enable-automation设置解决window.navigator.webdriver==true的问题。所以版本很新的话该方法就失效了!

  要正常使用的话,把Chrome回滚一个版本,并找到对应的ChromeDriver版本即可

  2 send_keys丢失字符

  用send_keys一次输入多个字符容易丢失,比如输入"我喜欢你"四个字,可能只输入了喜欢2个字。测试用for循环一个字一个字输入也会丢失。

  解决:定位输入框元素后先clear(),再click(),最后for循环依次输入(send_keys)多数情况下能正常!如果还不正常可以在输入文字之间time.sleep个0.01秒。实在不行可以通过js的方式来赋值 selenium用js完成元素定位和赋值

  https://www.crifan.com/selenium_input_box_send_keys_cannot_input_text_string/

  3 selenium启动浏览器有几十个特征可以被识别

  不要以为用了selenium就万事俱备了,该方法一样可以被反爬虫,所以如果搞不定淘宝不要纳闷!详情查看selenium启动特征。其实淘宝的反爬挺牛逼,selenium的抓取有时候会有问题,更多知识参考selenium消除启动特征

  4 更改窗口大小及uer_agent和手机模式(移动仿真)不同

  改窗口大小用option.add_argument('--window-size=xxx,xxx'),但是这个改的是浏览器窗口大小。即使配了移动的UA依然不是真正的模拟移动设备!

  PC设备和移动设备之间差别在于分辨率!要想模拟手机除了上述两项外还有进行分辨率的配置!如下才能达到移动仿真:

	iphone_ua = 'Mozilla/5.0 (iPhone; CPU iPhone OS 11_0 like Mac OS X) AppleWebKit/604.1.38 (KHTML, like Gecko) Version/11.0 Mobile/15A372 
        mobile_emulation = {
          "deviceMetrics": {"width": 375, "height": 667, 'pixelRatio': 3}, #分辨率配置
          "userAgent": iphone_ua # UA
                           }
        option.add_experimental_option("mobileEmulation", mobile_emulation)  

  5 请求网页后要等待

  打开一个网页后必须配备等待时间,否则可能加载不全!个人习惯用显式等待,用selenium的WebDriverWait和expected_conditions两个类!

  6 quit()前等待

  如果代码层面没有任何等待,那么使用quit()方法后程序会很快退出,有时候代码没执行完就退出了(个人观点是代码层面的操作指令已经执行到了,但是webdriver驱动浏览器还没来得及操作完,而quit并不会自动等待你的各类操作执行完)!

  7 长时间运行卡死

  用selenium爬了三天三夜,不是用的无头模式而是正常界面化的运行。最后浏览器左下角显示正在载入内存...然后程序一直卡死不动了,此外,有时候还会直接出现浏览器崩溃!改为无头模式之后同等数据量下运行未出现异常。

  8 gcm_channel_status_request.cc(145)] GCM channel request failed

  在cmd下运行脚本一会报一个下以上的错误!但是该错误并不影响脚本的效果。个人觉得selenium+python运行期间,谷歌浏览器插件或应用会和谷歌GCM服务进行通信,因为国内的屏蔽导致访问不通。详情查看http://www.python66.com/bbs/163.html,国外的网站https://stackoverflow.com/也有类似的分析。

  9 add_argument('--disable-infobars')设置无效

  用selenium浏览器后,浏览器顶部会显示Chrome正在受到自动软件的控制这几个字,看上去非常恶心,上述设置在谷歌76版本及以上版本就无效了,但是高版本的谷歌还能通过一些方法设置,详情查看屏蔽Chrome提示受到自动软件控制

每篇文章旨在解决一个问题,有帮助,赏瓶水。

selenium教程

Tips:不要怕、多坚持、多动手、付出必有回报。