python 如何用map()函数创建多线程任务
对于多线程的使用,我们经常是用thread来创建,比较繁琐. 在Python中,可以使用map函数简化代码。map可以实现多任务的并发
简单说明map()实现多线程原理:
task = [‘任务1', ‘任务2', ‘任务3', …]
map 函数一手包办了序列操作、参数传递和结果保存等一系列的操作,map函数负责将线程分给不同的CPU。
在 Python 中有个两个库包含了 map 函数: multiprocessing 和它鲜为人知的子库 multiprocessing.dummy.dummy 是 multiprocessing 模块的完整克隆,唯一的不同在于 multiprocessing 作用于进程,而 dummy 模块作用于线程。
代码如下:
from multiprocessing.dummy import Pool as ThreadPool import os import requests import time import numpy as np # 文件夹位置 filepath = r'C:\Users\Administrator\Desktop\ceshi' pool = ThreadPool(10)#开启线程数,即一次性抛出的请求数 time_list = []#用来计算时间 xml_list = []#数据集 pathDir = os.listdir(filepath) for i, allDir in enumerate(pathDir): filename = os.path.join('%s%s' % (filepath + '\\', allDir)) kk = open(filename, 'r', encoding='utf-8').read() data = kk.encode('utf-8') for k in range(10): xml_list.append(data) def res(data): # 访问目标服务器地址 url_host = 'https://mp.csdn.net/mdeditor#' start = time.clock() s = requests.post(url_host, data=data) end = time.clock() if s.status_code == 200: print(end-start) time_list.append(end-start) else: print('请求失败') # 传入的参数,1为函数, 2为参数 result = pool.map(res, xml_list) all_arr = np.array(time_list) aver = np.mean(all_arr) variance = np.var(all_arr) mid = np.median(all_arr) min_num = np.min(all_arr) max_num = np.max(all_arr) print('平均值 : '+ str(aver)) print('方差 : ' + str(variance)) print('中值 : ' + str(mid)) print('最小值 : ' + str(min_num)) print('最大值 : ' + str(max_num))
个人做的小测试,如果有错误的地方希望留言提出意见及建议。
补充:python多进程(multiprocessing)(map)
map的基本使用:
map函数一手包办了序列操作,参数传递和结果保存等一系列的操作。
from multiprocessing.dummy import Pool poop = Pool(4) # 4代表电脑是多少核的 results = pool.map(爬取函数,网址列表) from multiprocessing.dummy import Pool as ThreadPool import requests import time kv = {'user-agent':'Mozilla/5.0'} def getsource(url): html = requests.get(url,headers=kv) urls = [] for i in range(0,41): i = i*50 newpage = 'https://tieba.baidu.com/f?kw=读书&ie=utf-8&pn=' + str(i) urls.append(newpage) # 单线程爬取 time1 = time.time() for each in urls: print(each) getsource(each) time2 = time.time() print('单线程耗时: ' + str(time2-time1)) # 多线程爬取 pool = ThreadPool(8) time3 = time.time() results = pool.map(getsource, urls) pool.close() pool.join() time4 = time.time() print('多线程所消耗时间:' + str(time4 - time3))
以上为个人经验,希望能给大家一个参考,也希望大家多多支持猪先飞。如有错误或未考虑完全的地方,望不吝赐教。
相关文章
- 这篇文章主要介绍了python-opencv-画外接矩形框的实例代码,代码简单易懂,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下...2021-09-04
C# WinForm多线程解决界面卡死问题的完美解决方案,使用BeginInvoke
问题描述:当我们的界面需要在程序运行中不断更新数据时,当一个textbox的数据需要变化时,为了让程序执行中不出现界面卡死的现像,最好的方法就是多线程来解决一个主线程来创建界...2020-06-24Java8 实现stream将对象集合list中抽取属性集合转化为map或list
这篇文章主要介绍了Java8 实现stream将对象集合list中抽取属性集合转化为map或list的操作,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...2021-02-05Python astype(np.float)函数使用方法解析
这篇文章主要介绍了Python astype(np.float)函数使用方法解析,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下...2020-06-08- 2022虎年新年即将来临,小编为大家带来了一个利用Python编写的虎年烟花特效,堪称全网最绚烂,文中的示例代码简洁易懂,感兴趣的同学可以动手试一试...2022-02-14
- 在本篇文章里小编给大家分享的是一篇关于python中numpy.empty()函数实例讲解内容,对此有兴趣的朋友们可以学习下。...2021-02-06
python-for x in range的用法(注意要点、细节)
这篇文章主要介绍了python-for x in range的用法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...2021-05-10- 这篇文章主要介绍了Python 图片转数组,二进制互转操作,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...2021-03-09
- 这篇文章主要介绍了Python中的imread()函数用法说明,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...2021-03-16
- 这篇文章主要介绍了python如何实现b站直播自动发送弹幕,帮助大家更好的理解和学习使用python,感兴趣的朋友可以了解下...2021-02-20
python Matplotlib基础--如何添加文本和标注
这篇文章主要介绍了python Matplotlib基础--如何添加文本和标注,帮助大家更好的利用Matplotlib绘制图表,感兴趣的朋友可以了解下...2021-01-26- 这篇文章主要介绍了解决python 使用openpyxl读写大文件的坑,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...2021-03-13
- 今天小编就为大家分享一篇python 计算方位角实例(根据两点的坐标计算),具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...2020-04-27
- 这篇文章主要为大家详细介绍了python实现双色球随机选号,文中示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下...2020-05-02
- 在本篇文章里小编给大家整理的是一篇关于python中使用np.delete()的实例方法,对此有兴趣的朋友们可以学习参考下。...2021-02-01
- 这篇文章主要介绍了使用Python的pencolor函数实现渐变色功能,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下...2021-03-09
Python getsizeof()和getsize()区分详解
这篇文章主要介绍了Python getsizeof()和getsize()区分详解,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧...2020-11-20- 这篇文章主要介绍了python自动化办公操作PPT的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧...2021-02-05
JavaScript中的数组遍历forEach()与map()方法以及兼容写法介绍
下面小编就为大家带来一篇JavaScript中的数组遍历forEach()与map()方法以及兼容写法介绍。小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧...2016-05-20- 这篇文章主要介绍了c# 多线程处理多个数据的方法,帮助大家更好的理解和学习使用c#,感兴趣的朋友可以了解下...2021-03-31