博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
python爬虫(6)--Requests库的用法
阅读量:4538 次
发布时间:2019-06-08

本文共 5129 字,大约阅读时间需要 17 分钟。

1.安装

利用pip来安装reques库,进入pip的下载位置,打开cmd,默认地址为

C:\Python27\Scripts

可以看到文件中有pip.exe,直接在上面输入cmd回车,进入命令行界面,输入下载指令即可下载

pip install requests

2.基本请求

requests库提供了http所有的基本请求方式。

r = requests.get("http://httpbin.org/get")r = requests.post("http://httpbin.org/post")r = requests.put("http://httpbin.org/put")r = requests.delete("http://httpbin.org/delete")r = requests.head("http://httpbin.org/head")r = requests.options("http://httpbin.org/options")

1)基本GET请求

一个简单的例子

import requestsword = {
'key1': 'value1', 'key2': 'value2'}headers = {
'content-type': 'application/json'}r = requests.get("http://httpbin.org/get", params=word, headers=headers)print r.urlprint type(r)print r.status_codeprint r.encodingprint r.cookies

这里requests.get可以打开网址,如果想要加参数,可以利用 params 参数,如果想添加 headers,可以传 headers 参数。得到结果如下:

http://httpbin.org/get?key2=value2&key1=value1
200None

2)基本POST请求

对于 POST 请求来说,我们一般需要为它增加一些参数。那么最基本的传参方法可以利用 data 这个参数。

以表单形式传送数据:

import requestsword = {
'key1': 'value1', 'key2': 'value2'}r = requests.post("http://httpbin.org/post", data=word)print r.text

运行结果

{  "args": {},   "data": "",   "files": {},   "form": {    "key1": "value1",     "key2": "value2"  },   "headers": {    "Accept": "*/*",     "Accept-Encoding": "gzip, deflate",     "Connection": "close",     "Content-Length": "23",     "Content-Type": "application/x-www-form-urlencoded",     "Host": "httpbin.org",     "User-Agent": "python-requests/2.18.4"  },   "json": null,   "origin": "211.69.161.114",   "url": "http://httpbin.org/post"}

传JSON格式的数据,可以用 json.dumps() 方法把表单数据序列化:

import requestsimport jsonword = {
'key1': 'value1', 'key2': 'value2'}r = requests.post("http://httpbin.org/post", data=json.dumps(word))print r.text

运行结果

{  "args": {},   "data": "{\"key2\": \"value2\", \"key1\": \"value1\"}",   "files": {},   "form": {},   "headers": {    "Accept": "*/*",     "Accept-Encoding": "gzip, deflate",     "Connection": "close",     "Content-Length": "36",     "Host": "httpbin.org",     "User-Agent": "python-requests/2.18.4"  },   "json": {    "key1": "value1",     "key2": "value2"  },   "origin": "211.69.161.114",   "url": "http://httpbin.org/post"}

通过上述方法,我们可以POST JSON格式的数据

上传文件,直接用 file 参数

新建一个test.txt里面写上一段话:hello,zcx~

import requestsfiles = {
'file': open('test.txt', 'rb')}r = requests.post("http://httpbin.org/post", files=files)print r.text

运行结果

{  "args": {},   "data": "",   "files": {    "file": "hello zcx~"  },   "form": {},   "headers": {    "Accept": "*/*",     "Accept-Encoding": "gzip, deflate",     "Connection": "close",     "Content-Length": "154",     "Content-Type": "multipart/form-data; boundary=1908d06ba8ed4066b557bf5e44359eaa",     "Host": "httpbin.org",     "User-Agent": "python-requests/2.18.4"  },   "json": null,   "origin": "211.69.161.114",   "url": "http://httpbin.org/post"}

requests 是支持流式上传的,这允许你发送大的数据流或文件而无需先把它们读入内存。要使用流式上传,仅需为你的请求体提供一个类文件对象即可

import requestswith open('test.txt') as f:    a = requests.post('http://httpbin.org/post', data=f)print a.text

3.Cookies

如果一个响应中包含了cookie,那么我们可以利用 cookies 变量来拿到

import requestsurl = 'http://example.com'r = requests.get(url)print r.cookies

另外可以利用 cookies 变量来向服务器发送 cookies 信息

import requestsurl = 'http://httpbin.org/cookies'cookies = dict(cookies_are='working')r = requests.get(url, cookies=cookies)print r.text

运行结果:

{  "cookies": {    "cookies_are": "working"  }}

4.超时配置

可以利用 timeout 变量来配置最大请求时间

requests.get('https://www.baidu.com', timeout=0.1)

注:timeout 仅对连接过程有效,与响应体的下载无关。

也就是说,这个时间只限制请求的时间。即使返回的 response 包含很大内容,下载需要一定时间

5.会话对象

在以上的请求中,每次请求其实都相当于发起了一个新的请求。也就是相当于我们每个请求都用了不同的浏览器单独打开的效果。也就是它并不是指的一个会话,即使请求的是同一个网址

很明显,这不在一个会话中,无法获取 cookies,那么在一些站点中,我们需要保持一个持久的会话怎么办呢?就像用一个浏览器逛淘宝一样,在不同的选项卡之间跳转,这样其实就是建立了一个长久会话

解决方案如下

import requestss = requests.Session()s.get('http://httpbin.org/cookies/set/sessioncookie/123456')r = s.get("http://httpbin.org/cookies")print r.text

这里我们请求了两次,一次是设置 cookies,一次是获得 cookies

运行结果

{  "cookies": {    "sessioncookie": "123456"  }}

发现可以成功获取到 cookies 了,这就是建立一个会话到作用。

会话是一个全局的变量,可以用来全局的配置

import requestss = requests.Session()s.headers.update({
'x-test': 'true'})r = s.get('http://httpbin.org/headers', headers={
'x-test2': 'true'})print r.text

运行结果

{  "headers": {    "Accept": "*/*",     "Accept-Encoding": "gzip, deflate",     "Connection": "close",     "Host": "httpbin.org",     "User-Agent": "python-requests/2.18.4",     "X-Test": "true",     "X-Test2": "true"  }}

如果get方法传的headers 同样也是 x-test ,那么它会覆盖掉全局变量。如果不想要全局配置中的一个变量了,设置为 None 即可

headers = {
'x-test': None}

6.SSL证书验证

现在随处可见 https 开头的网站,Requests可以为HTTPS请求验证SSL证书,就像web浏览器一样。要想检查某个主机的SSL证书,可以使用 verify 参数

import requestsr = requests.get('https://kyfw.12306.cn/otn', verify=True)print r.text

如果想跳过证书验证,把 verify 设置为 False 即可,就可以正常请求了。在默认情况下 verify 是 True,所以如果需要的话,需要手动设置下这个变量。

7.代理

如果需要使用代理,可以通过为任意请求方法提供 proxies 参数来配置单个请求

import requestsproxies = {    "https": "http://41.118.132.69:4433"}r = requests.post("http://httpbin.org/post", proxies=proxies)print r.text

也可以通过环境变量 HTTP_PROXY 和 HTTPS_PROXY 来配置代理

export HTTP_PROXY="http://10.10.1.10:3128"export HTTPS_PROXY="http://10.10.1.10:1080"

 

转载于:https://www.cnblogs.com/lzhc/p/8039757.html

你可能感兴趣的文章
Linux-慕课网学习笔记-3-1命令格式
查看>>
AJAX入门介绍
查看>>
[算法竞赛入门]第一章_算法概述
查看>>
SQL反模式笔记3——主键规范
查看>>
简单粗暴,微生物生态研究中常用数据库简介--转载
查看>>
Oracle -操作数据库
查看>>
c - 给分数分级别
查看>>
chrome 调试
查看>>
luoguP2774 方格取数问题
查看>>
tcp/ip协议各层的理解与
查看>>
python中的setdefault()方法
查看>>
转 VSFTP用户权限管控
查看>>
poj2420 A Star not a Tree? 模拟退火
查看>>
微信小程序--登录授权,一键获取用户微信手机号并登录
查看>>
[转载] C#面向对象设计模式纵横谈——13. Proxy代理模式
查看>>
JqueryEasyUI浅谈---视频教程公布
查看>>
ASP.NET导出Excel,打开时提示“您尝试打开文件'XXX.xls'的格式与文件扩展名指定文件不一致”...
查看>>
Javaweb之 servlet 开发详解1
查看>>
Restore IP Addresses
查看>>
DWR框架简单应用
查看>>