python

站点从0学习python的记录

探索:沙子->硅->CPU->操作系统

博主:老董
毕业院校 湖南农业大学
行业|职业 房产行业|上班族
领导|同事 李卫国|张玉娜
口号 编程是拨开关,人人可会python
  • 计算机硬件篇
  • 计算机软件篇
  • 操作系统篇
推荐

从起源了解计算机

软件只是显示器通电后的影像。

推荐

软件的本质是电压

软件是一系列有序的电压信号。

推荐

CPU并不知道有操作系统的存在

只是人来赋予不同的代码不同的地位和功能

  • python基础教程
  • python面向对象
  • python并发编程
  • python进阶
  • requests爬虫
  • SEO工具
  • selenium教程
  • 最新文章
  • 什么是爬虫?爬虫的本质是什么?爬虫有什么用

    什么是爬虫? 爬虫通俗的解释就是复制粘贴!你在浏览器上点开一个网址,复制这个页面的一些信息,保存到自己的文件!这个过程如果用程序来实现,那么这个程序就叫做爬虫! 研

  • 什么是协议?到底什么是网络协议?

    什么是协议? 协议通俗的说就是规矩谁能立规矩呢,只有人。 生活中,协议无处不在,比如说我们把会发出汪汪声音的动物叫做狗,我们见了一条狗,我们说这是一条狗。这就是一种

  • http和https协议讲解-通俗而透彻

    在两条电脑可以通信的基础上,不同的协议就是代表两者之间不同的话术。http和https协议是搞爬虫接触比较频繁的协议。https相比http多了一层加密算法使得数据传输更加安全。但是htt

  • requests库安装及常用操作介绍

    python爬虫模块有两种比较常见,第一种为urllib模块,第二种为requests模块。urllib模块比较恶心,需要手动处理url编码、post请求参数等,requests模块出现后,就快速的代替了urllib模块。 但

  • requests的get请求及自定义请求头header

    基于requests模块的简单get请求。 需求:爬取百度首页。 注意User-Agent: User-Agent:请求载体的身份标识,使用浏览器发起的请求,请求载体的身份标识为浏览器。 User-Agent检测:网站通过

  • requests的get请求url传参及无效参数

    需求:在百度搜索www.python66.com,然后将搜索结果保存到文件bd_python66.html 百度搜索的url:https://www.baidu.com/s?wd=搜索词 解决:利用params参数,代码如下: # -*- coding: utf-8 -*-import requestsim

  • requests获取状态码与http响应头、请求头

    HTTP协议中没有规定post提交的数据必须使用什么编码方式,服务端根据请求头中的 Content-Type 字段来获取编码方式,再对数据进行解析。具体的编码方式包括如下: - application/x-www-form-

  • requests的url重定向次数与禁用处理

    NO1: Requests 可以为 HTTPS 请求验证 SSL 证书,就像 web 浏览器一样。SSL 验证默认是开启的,如果证书验证失败,Requests 会抛出 SSLError。在该域名requestb.in上我没有设置 SSL,所以失败了。代

  • 什么是Cookie,requests处理Cookie的多种方法

    代理 如果需要使用代理,你可以通过为任意请求方法提供proxies参数来配置单个请求: 你也可以通过环境变量HTTP_PROXY和HTTPS_PROXY来配置代理。 若你的代理需要使用HTTP Basic Auth,可以使用

  • requests请求超时处理与异常总结

    http://2.python-requests.org/zh_CN/latest/user/quickstart.html#id4

  • python采集百度PC搜索结果页真实url

    不同人做seo有不同的思路,所以总有些乱七八糟的需求,比如采集百度搜索结果页的真实url。很多SEO工具实现的过程也需要采集真实url,下面的代码就是采集百度PC排名的真实url。 1、准

  • python多线程采集百度PC下拉词

    下拉词是扩词一个重要的渠道,市面上还有刷百度下拉词的,所以百度下拉词的作用不必多说。如何批量获取百度下拉词呢? 百度PC下拉词采集的脚本如下: 1、准备关键词文件kwd.txt。

  • python多线程采集百度pc相关搜索词

    相关搜索词词是扩词一个重要的渠道。如何批量获取百度相关搜索词呢? 百度PC相关搜索词采集的脚本如下: 1、准备关键词文件kwd.txt。(一行一个关键词) 2、结果会存储为bdpc_xg.tx

  • python查询百度PC域名首页覆盖率

    在SEO人员那里,判断一个行业哪些站做的好,有一个大众比较认可的思路。找一批行业词,查询每个词百度排名前10的url,然后提取下来,最后统计下哪个域名出现次数多。出现次数多

  • python百度PC多站点分关键词类别排名监控

    在SEO人员那里,判断一个行业哪些站做的好,有一个大众比较认可的思路。找一批行业词,查询每个词百度排名前10的url,然后提取下来,最后统计下哪个域名出现次数多。出现次数多

  • python多线程百度PC查询url是否有收录且索引

    一个url只有被收录且建立索引后才有可能获得流量,只有收录没有索引就无法通过检索词检索到。通常判断收录的方式是直接搜索该url看是否收录,而判断建立索引的方式是搜索该url的

  • python多线程百度PC关键词和url一对一排名查询

    查询关键词排名有两种,第一种是提供url和关键词查看是否有排名,第二种是提供关键词查看某个域名下哪个url有排名,这里提供第一种方式的脚本。其中的注意事项如下: 1、准备关

  • python多线程百度PC指定域名查询关键词排名

    查询关键词排名有两种,第一种是指定url和关键词查看是否有排名,第二种是提供关键词查看某个域名下哪个url有排名,这里提供第二种方式的脚本。其中的注意事项如下: 1、准备关

  • python百度mo域名首页覆盖率查询

    我们之前写过百度PC关键词覆盖率查询的代码,本文写百度MO端的。原理都是一样的! SEO人员判断一个行业哪些站做的好,会采取一个思路。找一批行业词,查询每个词百度排名前10的

  • python百度mo端多站点分关键词类别排名监控

    SEO人员判断一个行业哪些站做的好,会采取一个思路。找一批行业词,查询每个词百度排名前10的url,然后提取下来,最后统计下哪个域名出现次数多。出现次数多的几个域名就是这个

  • selenium是什么?selenium历史版本介绍

    1、selenium是什么 Selenium是什么?Selenium 官方有一个很经典的回答:自动化操作的浏览器,就是这样做你想要做的事情,一切取决于你。 Selenium最早是为了测试浏览器、网页而诞生的,是

  • selenium学习什么?selenium学习方法及内容

    一:selenium学习什么? 你用浏览器操作什么那么学习selenium就学习什么! 但是本栏目是面向爬虫的selenium课程,所以更多的倾向于爬虫,自动化测试类的偏少!测试和爬虫是2个方向。

  • selenium各种坑和bug真实记录

    selenium很笨重并且有各种奇葩问题,鄙人在真实的使用之中搜集了一些奇葩问题供大家参照!我用的事selenium3.14版本。 须知:selenium遇见的坑很多是和webdriver和浏览器的版本有关系,这

  • selenium、webdriver及浏览器的关系及对应版本安装

    selenkium支持多种浏览器,包括Chrome,Safari,Firefox、Edge 等,我们以Chrome浏览器为例学习。先完成以下3步: 1 selenium安装 安装selenium和安装requests或者其他库一样,直接pip命令完成就行。

  • selenium启动禁用图片,UA,窗口,无头模式,手机模式

    本节测试下selenium启动浏览器的一些配置参数,比如UA信息,模拟手机,是否加载图片等。首先找到可以检测浏览器UA信息及屏幕分辨率的网站 http://www.sunchateau.com/free/UA.htm,打开该网站

  • selenium强制等待、显式等待之EC异常模块、隐式等

    之前的脚本selenium打开网页后会强制sleep几秒然后退出,如果代码层面出现了quit(),有时候网页未加载完完浏览器就退出了。所以才要强制等待!sleep就是强制等待。 但是每个网页加载时

  • 强制等待、显式等待、隐式等待代码示例

    场景: 1.打开百度,等待输入框元素和搜搜按钮出现(输入框和搜索按钮出现才说明网页加载好了) 2.输入www.pythjon66.com,点击搜索 3.在搜索结果页等待下一页这个元素出现(出现下一页的

  • selenium元素定位的8种方式及其变形写法

    所谓元素定位就是在html源码中去找目标元素,html源码有很多特征根据这些特征,Selenium提供了8种定位方式。 (如果不知道id 、class name这些是啥,请补充基本的html css知识) id(id属性

  • selenium打开天眼查实现自动搜索查找功能

    上一篇我们从概念上感受了元素定位,这次我们实际拿个网站练练手,就用天眼查这个站来做吧。 1、打开天眼查, 2、定位到输入框,输入垃圾seo; 3、定位到搜索按钮,点击搜索 与上

  • selenium通过js定位元素及元素赋值

    selenium可以执行js代码,只需要一句话即可: driver.execute_script(input_js) 鉴于这个特点我们就可以利用js来操作元素比如实现元素定位、输出文字等,但是前提是对js的DOM操作有所了解,对

  • pandas坑:创建df后多行数据重复

    字典可以创建成df数据结构,但是必须传参index,否则会报错ValueError: If using all scalar values, you must pass an index。如下: # -*- coding:utf-8 -*-dic = {domain: www.python66.com, author: dong,}df = pd.DataFrame

  • pandas坑:非空字典创建df后为空df

    最近在做数据采集,接口返回的数据是嵌套多层的json,提取数据再做处理写入excel后发现总是缺少数据。于是反复确认了几件事: 1、数据采集代码确实没问题的 2、其他代码层面没有任

  • 3种方法创建字节串bytes及其使用

    需要了解字符集、字符编码、Unicode、码点值、UTF-8编码、GBK编码这种杂七杂八概念的可以参考: 字符集与编码的区别 。 在python3的世界里,字符串str数据类型在内存中会统一转为unico

  • yield是什么?为什么可以暂停程序,让出CPU

    学习python协程的时候可能遇见过一些古老的代码,利用生成器(yield)实现协程。通过yield可以让某个函数暂停,然后切换到当前线程内另1个函数去执行,从而实现单线程内的并发运行!这

  • python自定义异常实现(BaseException与Exception差别)

    为什么要自定义异常类 : 在实际开发中,业务场景是千变万化的,某些时候python内置的异常类型可能用起来不是很便捷,所以需要自定义异常。假设要办理信用卡,在银行会权衡一个

  • 基于生成器实现上下文管理器(contextmanager装饰器

    上下文管理的实现除了靠定义类实现__enter__和__exit__ 方法之外,也可以基于生成器来实现,不过需要借助python 标准库提供的contextlib模块,contextlib模块提供了contextmanager装饰器来帮我们

  • 什么是上下文管理器,基于类自定义上下文管理

    在文件操作时经常用with as 语句,同时接触了上下文管理器的概念。其实上下文是context直译的说法,在程序中用来表示某段代码所处的前后环境,比如在文件中写入数据,写入之前要打

  • cookie与session是什么?有何关系

    一篇文章通常只有1个主题,本文的主题就是理清cookie和session的概念及关系,至于一些关联性内容如http协议,cookie和session的优缺点等不过多解释。 为什么有cookie和session http协议是无状

  • requests使用http代理(含auth认证代理)、socks代理

    SSL证书: Requests 可以为 HTTPS 请求验证 SSL 证书,就像 web 浏览器一样。SSL 验证默认是开启的,如果证书验证失败,Requests 会抛出 SSLError。在该域名requestb.in上没有设置 SSL,所以失败了。

  • requests的SSL证书验证及警告处理

    HTTP协议中没有规定post提交的数据必须使用什么编码方式,服务端根据请求头中的 Content-Type 字段来获取编码方式再对数据进行解析。具体的编码方式包括如下: - application/x-www-form-url

  • 疑难杂症
  • Pandas教程
  • openpyxl教程
  • IT面试

网友热评