selenium各种坑和bug记录解决

　　selenium很笨重并且有各种奇葩问题，鄙人在使用之中记录了一些奇葩问题供大家参照！我用的是selenium3.14版本。

　　须知：selenium遇见的坑很多和webdriver和浏览器的版本有关系，这个版本没问题换个版本就出问题了！坑是收集不完的，但是也未必全能踩到坑。边用边总结吧！(持续更新)

　　1 规避检测失败，selenium启动浏览器后特征非常多

　　selenium驱动的浏览器后比较简单通用的特征：window.navigator.webdriver值是true，正常的浏览器这个值是未定义的(undefined)。对方网站根据这个特征容易识别出来你是爬虫！为了规避检测需要配置。

option.add_experimental_option("excludeSwitches", ['enable-automation']) 

　　但是ChromeDriver 79.0.3945.36版本修复了非无头模式下排除“启用自动化”时window.navigator.webdriver是未定义的问题，无法通过更改enable-automation设置解决window.navigator.webdriver==true的问题。所以新版版本很新的话该方法就失效了！查看最新方式可以看新版浏览器修改window.navigator.webdriver

　　上述只是1个最简单通用的特征，但是还有很多特征值存在，很多站如美团、头条、支付宝都对selenium做了一些反爬，更多知识参考selenium消除启动特征。

　　2 send_keys丢失字符

　　用send_keys一次输入多个字符容易丢失，比如输入"我喜欢你"四个字，可能只输入了喜欢2个字。测试用for循环一个字一个字输入也会丢失。

　　解决：定位输入框元素后先clear()，再click()，最后for循环依次输入(send_keys)多数情况下能正常！如果还不正常可以在输入文字之间time.sleep个0.01秒。实在不行可以通过js的方式来赋值 selenium用js完成元素定位和赋值

　　3 更改窗口大小及uer_agent和手机模式(移动仿真)不同

　　改窗口大小用option.add_argument('--window-size=xxx,xxx')，但是这个改的是浏览器窗口大小。即使配了移动的UA依然不是真正的模拟移动设备！

　　PC设备和移动设备之间差别在于分辨率！要想模拟手机除了上述两项外还有进行分辨率的配置！如下才能达到移动仿真：

	iphone_ua = 'Mozilla/5.0 (iPhone; CPU iPhone OS 11_0 like Mac OS X) AppleWebKit/604.1.38 (KHTML, like Gecko) Version/11.0 Mobile/15A372 
        mobile_emulation = {
          "deviceMetrics": {"width": 375, "height": 667, 'pixelRatio': 3}, #分辨率配置
          "userAgent": iphone_ua # UA
                           }
        option.add_experimental_option("mobileEmulation", mobile_emulation)　　

　　4 请求网页后要等待，quit()前要等待

　　打开一个网页后必须配备等待时间再进行各种操作，否则可能加载不全导致出错！个人习惯用显式等待，用selenium的WebDriverWait和expected_conditions两个类配合！

　　如果代码层面没有任何等待，那么使用quit()方法后程序会很快退出，有时候代码中要实现的效果没执行完就退出了（个人观点是selenium一些方法是异步非阻塞的，也就是代码层面的操作指令发出去了，但是不考虑webdriver驱动浏览器有没有完成操作，代码层面继续往下执行到了quit就退出。）！

　　5 长时间运行卡死,崩溃,内存不足

　　用selenium爬了三天三夜，不是用的无头模式而是正常界面化的运行。最后浏览器左下角显示正在载入内存...然后程序一直卡死不动了，此外，有时候还会直接出现浏览器崩溃！改为无头模式之后同等数据量下运行未出现异常，但是加大数据量后照旧会出现该问题。

　　网上很多人让清除缓存，其实是没效果的。这问题不在于删不删除浏览器缓存，而是浏览器的内存回收延迟，参考:selenium操作谷歌浏览器崩溃卡死解决。如果有能力可以研究一下chrome内核自己封装一个浏览器，这样可控性高，或许可以找到自主回收的方案。

　　6 gcm_channel_status_request.cc(145)] GCM channel request failed

　　在cmd下运行脚本一会报一个下以上的错误！但是该错误并不影响脚本的效果。个人觉得selenium+python运行期间，谷歌浏览器插件或应用会和谷歌GCM服务进行通信，因为国内的屏蔽导致访问不通。详情查看http://www.python66.com/bbs/163.html，国外的网站https://stackoverflow.com/也有类似的分析。

　　7 add_argument('--disable-infobars')设置无效

　　用selenium浏览器后，浏览器顶部会显示Chrome正在受到自动软件的控制这几个字，看上去非常恶心，上述设置在谷歌76版本及以上版本就无效了，但是高版本的谷歌还能通过一些方法设置，详情查看屏蔽Chrome提示受到自动软件控制

　　8 headless模式报错，正常模式可以

　　这种情况一般是因为headless模式的时候浏览器UA有个HeadlessChrome字样，比如：Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) HeadlessChrome/80.0.3987.122 Safari/537.36 ，此外，headless模式分辨率是800*600，可能这些特征被反爬了，可以先增加一个UA配置试试。

ua = 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'
options.add_argument("user-agent=" + ua);

　　9 浏览器安全级别与driver.execute_cdp_cmd

　　在一次测试中发现浏览器的安全级别设置会影响能否执行driver.execute_cdp_cmd命令，有待进一步验证。

很赞哦！

python编程网提示：转载请注明来源www.python66.com。
有宝贵意见可添加站长微信(底部)，获取技术资料请到公众号(底部)。同行交流请加群