您的位置: 网站首页> requests爬虫> 当前文章

requests库安装及常用操作介绍

老董-我爱我家房产SEO2019-07-18179围观,102赞

  python爬虫模块有两种比较常见,第一种为urllib模块,第二种为requests模块。urllib模块比较恶心,需要手动处理url编码、post请求参数等,requests模块出现后,就快速的代替了urllib模块。

  但凡编程用到的模块或者框架都有其官方文档,但是官方文档往往看起来吃力或者写的逻辑比较反人类,但是requests文档比较易懂,完全可以看文档来学习操作。

  参考官网:http://2.python-requests.org/zh_CN/latest/user/quickstart.html。

  requests安装:

  pip install requests

  requests常用的操作介绍(后面逐一实战应用):

  第一、post基本请求参数和响应:

  1、url:页面的url链接

  2、data:字典格式,请求体(表单提交的数据)。通过&符号连接。浏览器中显示form data

  3、cookies:字典格式(可以直接写在headers头里)

  4、headers:字典格式,请求头

  5、json:字符串类型,长相是字典,请求体。直接发字符串。json.dumps(dict): 浏览器中显示 payload

  6、files:上传文件参数

  7、响应数据:文本数据response.text、原始套接字数据response.raw、二进制数据response.content

  第二、get基本请求参数和响应

  1、url:页面的url链接

  2、params:字典格式,url传参

  3、cookies:字典格式(可以直接写在headers头里)

  4、headers:字典格式,请求头

  5、响应数据:文本数据response.text、原始套接字数据response.raw、二进制数据response.content

  第三、其他常用参数

  身份认证: HTTP Basic Auth较为常见,auth=HTTPBasicAuth('user', 'pass')

  proxies:字典类型,设定访问代理服务器,可以增加登陆认证

  allow_redirects:True/False,默认为True,重定向开关

  stream:True/False,默认为True,获取内容立即下载开关,下载大文件用

  verify:True/False,默认为True,认证SSL证书开关

  cert:本地SSL证书路径

很赞哦!

python编程网提示:转载请注明来源www.python66.com。
有宝贵意见可添加站长微信(底部),获取技术资料请到公众号(底部)。同行交流请加群 python学习会

文章评论

    requests库安装及常用操作介绍文章写得不错,值得赞赏

站点信息

  • 网站程序:Laravel
  • 客服微信:a772483200