python requests模块的使用示例
为什么使用requests:
- 支持使用Cookie保持会话
- 支持文件上传
- 支持自动确定响应内容的编码
- 对用户来说比较人性化
模拟get请求:
获取token
# 使用微信公众平台举例 get_param_dict={ "grant_type":"**************", "appid":"**************", "secret":"**************", } response = requests.get(url='https://api.weixin.qq.com/cgi-bin/token', # url地址 params=get_param_dict) # 参数 print(response.content.decode('utf-8'))
模拟请求头部信息
注:因为requests请求头是以python,requests发起的,所以大部分接口都会需要手动添加头部信息
# get 模拟请求头部信息,(当你发现数据不对时,就模拟) # 以百度举例 get_param_dict ={ "wd":"newdream" } # 添加头部信息字典(可以使用抓包抓取到头部信息) header_info_dict = { "User-Agent":"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.105 Safari/537.36", "Accpet":"text/plain, */*; q=0.01" } response = requests.get(url = 'https://www.baidu.com/s', params=get_param_dict,headers=header_info_dict) print(response.content.decode('utf-8'))
模拟post请求
import requests,json # requests模拟发送post请求 # 使用微信公众平台举例 url_param_doct = {"access_token": "43_XcK_1rvR8VPgicGGzq7Vp2QrGx30Kwhy9SSShoVTQs11G_jP9aqhy2bwRQFuG2hYzkwVjphJFfPj8WYQR8vgfu5Xej7KaZBiyPDJ9sYoCKte78sqgtBdCf6N5S8QosNXBOFSEJnzLMbxJwCOTWAgAAANQU"} post_param_data = { "tag" : { "name" : "我是新标签" } } response = requests.post(url='https://api.weixin.qq.com/cgi-bin/tags/create', params=url_param_doct, # json=post_param_data # 可以使用json data=json.dumps(post_param_data) # 也可以使用data,但是data要求是字符串,需要使用json模块dumps转化 ) print(response.content.decode('utf-8'))
requests上传文件
import requests,os # post上传文件 current_path = os.path.dirname(__file__) # os模块定位当前路径 excel_path = os.path.join(current_path,'..','data','j.xlsx') # join拼接 excel_file = {'file':open(excel_path,'rb')} # 做成字典,open打开文件 rb:只读二进制 response = requests.post(url='https://2.python-requests.org/', # requests官方实例文档地址 files=excel_file) # files传文件 print( response.content.decode('utf-8') )
requests设置代理
import requests # 设置代理:为什么设置代理? # 爬虫类项目,有检测机制 # 防止公司系统有防灌水功能 # 需要翻墙做接口的时候 proxy_server = {'http':'http://127.0.0.1:8888', 'https':'http://127.0.0.1:8888'} # 做一个字典 proxy_user_pass = { 'https':'http://uesrname:password@127.0.0.1:8888' # 需要用户跟密码使用这个 } response = requests.get(url= 'https://baidu.com', proxies=proxy_server) # proxies设置代理关键字 print(response.status_code)
time模块设置请求超时
如果一个请求很久没有结果,就会让整个项目的效率变得非常低,这个时候我们就需要对请求进行强制要求
让他必须在特定的时间内返回结果,否则就报错。
# 设置请求超时 import requests import time print(time.time()) # 时间戳 response = requests.get(url='https://www.baidu.com',timeout=3) # timeout=3: 请求如果在规定时间之内(3秒钟内)没有得到响应,就会抛出超时错误 print(time.time())
retrying模块设置刷新
使用超时参数能够加快我们整体的请求速度,但是在正常的网页浏览过成功,如果发生速度很慢的情况,我们会做的选择是刷新页面
retrying模块就可以帮助我们解决。使用retrying模块提供的retry模块
通过装饰器的方式使用,让被装饰的函数反复执行retry中可以传入参数stop_max_attempt_number,让函数报错后继续重新执行
达到最大执行次数的上限,如果每次都报错,整个函数报错,如果中间有一个成功,程序继续往后执行。
import requests from retrying import retry # 如果函数连续调用三次都报错,才会报错,如果三次之中有一次成功,就成功 @retry(stop_max_attempt_number=3) def get_response(url): response = requests.get(url, timeout=2) return response retrying_requests = get_response("https://www.baidu.com") print(retrying_requests.content.decode())
cookie设置
好处:能够访问登录后的页面
坏处:一套cookie往往对应的是一个用户的信息,请求太频繁有更大的可能性被对方识别为爬虫
如何解决 ?使用多个账号
# 使用requests提供的session模块 import requests # 构造formdata表单数据,填写自己的账号和密码 post_data = { "username": "xxxxx", "password": "xxxxx" } # session的使用: 在请求之前创建session对象 session = requests.Session() # 后续的请求都由session来发起,因为session中保存了用户的登陆信息 session.post(url="https://www.baidu.com", data=post_data) response = session.get("https://www.baidu.com") # 使用session请求登陆后的界面 print(response.content.decode())
处理证书认证错误
import requests # 方式一:不验证证书,报警告,返回200 requests.packages.urllib3.disable_warnings()# 直接解决爆红警告 # 方式二不验证证书,报警告,返回200 ,后面拼接verify=False,加这个控制台报警的话,就在加上方式一 response = requests.get('https://www.12306.cn',verify=False) print(response.content.decode('utf-8')) # 方式三:安装pyopenssl 安装之后就不会报错# pip3 install -U requests[security] response = requests.get('https://www.12306.cn') print(response.content.decode('utf-8')) # 方式四: 加上证书 公司内部 问开发要xxx.crt文件 ,最稳妥 response = requests.get('https://www.12306.cn',cert=('/path/server.crt', '/path/key'))
requests+jsonpath解析数据
hosts = 'https://api.weixin.qq.com' # 主机地址 # 获取token get_param_dict = { "grant_type":"**********", "appid":"*************", "secret":"***************" } response = requests.get('%s/cgi-bin/token'%hosts,params=get_param_dict) json_obj = response.json() # json数据解析:从一个json体中取出需要的数据,就叫json数据解析 token_id = jsonpath.jsonpath(json_obj,'$.access_token')[0] # 接口依赖,接口关联 print(token_id)
以上就是python requests模块的使用的详细内容,更多关于python requests模块的使用的资料请关注猪先飞其它相关文章!
相关文章
- 这篇文章主要介绍了python-opencv-画外接矩形框的实例代码,代码简单易懂,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下...2021-09-04
Python astype(np.float)函数使用方法解析
这篇文章主要介绍了Python astype(np.float)函数使用方法解析,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下...2020-06-08- 2022虎年新年即将来临,小编为大家带来了一个利用Python编写的虎年烟花特效,堪称全网最绚烂,文中的示例代码简洁易懂,感兴趣的同学可以动手试一试...2022-02-14
- 在本篇文章里小编给大家分享的是一篇关于python中numpy.empty()函数实例讲解内容,对此有兴趣的朋友们可以学习下。...2021-02-06
python-for x in range的用法(注意要点、细节)
这篇文章主要介绍了python-for x in range的用法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...2021-05-10- 这篇文章主要介绍了Python 图片转数组,二进制互转操作,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...2021-03-09
- 这篇文章主要介绍了Python中的imread()函数用法说明,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...2021-03-16
- 这篇文章主要介绍了python如何实现b站直播自动发送弹幕,帮助大家更好的理解和学习使用python,感兴趣的朋友可以了解下...2021-02-20
python Matplotlib基础--如何添加文本和标注
这篇文章主要介绍了python Matplotlib基础--如何添加文本和标注,帮助大家更好的利用Matplotlib绘制图表,感兴趣的朋友可以了解下...2021-01-26- 这篇文章主要介绍了解决python 使用openpyxl读写大文件的坑,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...2021-03-13
- 今天小编就为大家分享一篇python 计算方位角实例(根据两点的坐标计算),具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...2020-04-27
- 在本篇文章里小编给大家整理的是一篇关于python中使用np.delete()的实例方法,对此有兴趣的朋友们可以学习参考下。...2021-02-01
- 这篇文章主要为大家详细介绍了python实现双色球随机选号,文中示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下...2020-05-02
- 这篇文章主要介绍了使用Python的pencolor函数实现渐变色功能,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下...2021-03-09
Python getsizeof()和getsize()区分详解
这篇文章主要介绍了Python getsizeof()和getsize()区分详解,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧...2020-11-20- 这篇文章主要介绍了python自动化办公操作PPT的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧...2021-02-05
- 这篇文章主要介绍了解决python 两个时间戳相减出现结果错误的问题,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...2021-03-12
- 这篇文章主要为大家详细介绍了python实现学生通讯录管理系统,文中示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下...2021-02-25
- 这篇文章主要介绍了PyTorch一小时掌握之迁移学习篇,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下...2021-09-08
- 这篇文章主要介绍了python进行相关性分析并绘制散点图,具有一定借鉴价值,需要的朋友可以参考下,希望能够给你带来帮助...2021-09-18