Python的进程,线程和协程实例详解
相关介绍
Python是一种跨平台的计算机程序设计语言。是一个高层次的结合了解释性、编译性、互动性和面向对象的脚本语言。最初被设计用于编写自动化脚本(shell),随着版本的不断更新和语言新功能的添加,越多被用于独立的、大型项目的开发。
例如
实验环境
- Python 3.x (面向对象的高级语言)
- Multiprocessing(Python库)
- Threading(Python库)
- Asyncio(Python库)
- Time(Python库)
- Random(Python库)
进程
进程:程序运行在操作系统上的一个实例,就称之为进程。进程需要相应的系统资源:内存、时间片、pid(进程号)。 一个运行的程序(代码)就是一个进程,没有运行的代码叫程序,进程是系统资源分配的最小单位,进程拥有自己独立的内存空间,所以进程间数据不共享,开销大。
创建进程步骤:
1.首先要导入 multiprocessing 中的 Process;
2.创建一个 Process 对象;
3.创建 Process 对象时,可以传递参数;
4.使用 start()启动进程;
5.结束进程。
import os from multiprocessing import Process import time def pro_func(name,age,**kwargs): print("进程正在运行,name=%s, age=%d, pid=%d" %(name, age, os.getpid())) print('kwargs参数值',kwargs) time.sleep(0.1) if __name__=="__main__": p=Process(target=pro_func,args=('Friendship',18),kwargs={'爱好':'Python'}) print('启动进程') p.start() print('程是否还在活着:',p.is_alive())# 判断进程进程是否还在活着 time.sleep(0.5) # 1 秒钟之后,立刻结束进程 print('结束进程') p.terminate() # 不管任务是否完成,立即终止进程 p.join() # 等待子进程执行结束 print('程是否还在活着:',p.is_alive())# 判断进程进程是否还在活着
注意:进程间不共享全局变量。
多进程
以一个读写程序为例,main函数为一个主进程,write函数为一个子进程,read函数为另一个子进程,然后两个子进程进行读写操作。
import os import time import random from multiprocessing import Process,Queue # 写数据函数 def write(q): for value in ['I','love','Python']: print('在队列里写入 %s ' % value) q.put(value) time.sleep(random.random()) # 读数据函数 def read(q): while True: if not q.empty(): value = q.get(True) print('从队列中读取 %s ' % value) time.sleep(random.random()) else: break if __name__=="__main__": # 主进程 # 主进程创建 Queue,并传给各个子进程 q=Queue() # 创建两个进程 pw=Process(target=write,args=(q,)) pr=Process(target=read,args=(q,)) # 启动子进程 pw pw.start() # 等待 pw结束 pw.join() # 启动子进程 pr pr.start() # 等待 pw结束 pr.join() print('End!')
用进程池对多进程进行操作
from multiprocessing import Manager,Pool import os,time,random def read(q): print("read进程 启动(%s),主进程为(%s)" % (os.getpid(), os.getppid())) for i in range(q.qsize()): print("read进程 从 Queue 获取到消息:%s" % q.get(True)) def write(q): print("write进程 启动(%s),主进程为(%s)" % (os.getpid(), os.getppid())) for i in "Python": q.put(i) if __name__=="__main__": print("主进程(%s) start" % os.getpid()) q = Manager().Queue() # 使用 Manager 中的 Queue # 定义一个进程池 po = Pool() # Pool().apply_async(要调用的目标,(传递给目标的参数元祖,)) po.apply_async(write, (q,)) time.sleep(1) # 先让上面的任务向 Queue 存入数据,然后再让下面的任务开始从中取数据 po.apply_async(read, (q,)) po.close() # 关闭进程池,关闭后 po 不再接收新的请求 po.join() # 等待 po 中所有子进程执行完成,必须放在 close 语句之后 print("(%s) End!" % os.getpid())
线程
线程:调度执行的最小单位,也叫执行路径,不能独立存在,依赖进程存在一个进程至少有一个线程,叫主线程,而多个线程共享内存(数据共享,共享全局变量),从而极大地提高了程序的运行效率。
上图,红框表示进程号(PID)为1624的进程,有118个线程。
使用_thread模块实现
import _thread import time import random # 为线程定义一个函数 def print_time(threadName): count = 0 while count < 5: time.sleep(random.random()) count += 1 print ("%s: %s" % (threadName, time.ctime(time.time()))) # 创建两个线程 try: _thread.start_new_thread(print_time, ("Thread-1",)) _thread.start_new_thread(print_time, ("Thread-2",)) except: print ("Error: 无法启动线程") while True: pass
使用 threading 模块实现
# 使用 threading 模块创建线程 import threading import time import random class myThread(threading.Thread): def __init__(self, threadID, name): threading.Thread.__init__(self) self.threadID = threadID self.name = name self.delay = random.random() def run(self): print ("开始线程:" + self.name) print_time(self.name, 5) print ("退出线程:" + self.name) def print_time(threadName, count): while count: time.sleep(random.random()) print ("%s: %s" % (threadName, time.ctime(time.time()))) count -= 1 # 创建两个线程 thread1 = myThread(1, "Thread-1") thread2 = myThread(2, "Thread-2") # 开启新线程 thread1.start() thread2.start() thread1.join() thread2.join() print ("退出主线程")
协程
- 协程:是一种用户态的轻量级线程,协程的调度完全由用户控制。协程拥有自己的寄存器上下文和栈。 协程调度切换时,将寄存器上下文和栈保存到其他地方,在切回来的时候,恢复先前保存的寄存器上下文和栈,直接操作栈则基本没有内核切换的开销,可以不加锁的访问全局变量,所以上下文的切换非常快。
- 当出现IO阻塞的时候,由协程的调度器进行调度,通过将数据流立刻yield掉(主动让出),并且记录当前栈上的数据,阻塞完后立刻再通过线程恢复栈,并把阻塞的结果放到这个线程上去跑,这样看上去好像跟写同步代码没有任何差别,这整个流程可以称为coroutine。
- 由于协程的暂停完全由程序控制,发生在用户态上;而线程的阻塞状态是由操作系统内核来进行切换,发生在内核态上。因此,协程的开销远远小于线程的开销。
使用asyncio模块实现
import asyncio import time import random async def work(msg): print("收到的信息:'{}'".format(msg)) print("{}1{}".format("*"*10,"*"*10)) # 为了方便,展示结果 await asyncio.sleep(random.random()) print("{}2{}".format("*"*10,"*"*10)) # 为了方便,展示结果 print(msg) async def main(): # 创建两个任务对象(协程),并加入到事件循环中 Coroutines1 = asyncio.create_task(work("hello")) Coroutines2 = asyncio.create_task(work("Python")) print("开始时间: {}".format(time.asctime(time.localtime(time.time())))) await Coroutines1 # 此时并发运行Coroutines1和Coroutines2 print("{}3{}".format("*"*10,"*"*10)) # 为了方便,展示结果 await Coroutines2 # await相当于挂起当前任务,去执行其他任务,此时是堵塞的 print("{}4{}".format("*"*10,"*"*10)) # 为了方便,展示结果 print("结束时间:{}".format(time.asctime(time.localtime(time.time())))) asyncio.run(main())# asyncio.run(main())创建一个事件循环,并以main为主要程序入口
总结
- 进程:一个运行的程序(代码)就是一个进程,没有运行的代码叫程序,进程是系统资源分配的最小单位,进程拥有自己独立的内存空间,所以进程间数据不共享,开销大。
- 线程: 调度执行的最小单位,也叫执行路径,不能独立存在,依赖进程存在一个进程至少有一个线程,叫主线程,而多个线程共享内存(数据共享,共享全局变量),从而极大地提高了程序的运行效率。
- 协程:是一种用户态的轻量级线程,协程的调度完全由用户控制。协程拥有自己的寄存器上下文和栈。 协程调度切换时,将寄存器上下文和栈保存到其他地方,在切回来的时候,恢复先前保存的寄存器上下文和栈,直接操作栈则基本没有内核切换的开销,可以不加锁的访问全局变量,所以上下文的切换非常快。
本篇文章就到这里了,希望能够给你带来帮助,也希望您能够多多关注猪先飞的更多内容!
原文出处:https://blog.csdn.net/FriendshipTang/article/details/1233364
相关文章
- 这篇文章主要介绍了python-opencv-画外接矩形框的实例代码,代码简单易懂,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下...2021-09-04
C# WinForm多线程解决界面卡死问题的完美解决方案,使用BeginInvoke
问题描述:当我们的界面需要在程序运行中不断更新数据时,当一个textbox的数据需要变化时,为了让程序执行中不出现界面卡死的现像,最好的方法就是多线程来解决一个主线程来创建界...2020-06-24Python astype(np.float)函数使用方法解析
这篇文章主要介绍了Python astype(np.float)函数使用方法解析,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下...2020-06-08- 2022虎年新年即将来临,小编为大家带来了一个利用Python编写的虎年烟花特效,堪称全网最绚烂,文中的示例代码简洁易懂,感兴趣的同学可以动手试一试...2022-02-14
- 在本篇文章里小编给大家分享的是一篇关于python中numpy.empty()函数实例讲解内容,对此有兴趣的朋友们可以学习下。...2021-02-06
python-for x in range的用法(注意要点、细节)
这篇文章主要介绍了python-for x in range的用法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...2021-05-10- 这篇文章主要介绍了Python 图片转数组,二进制互转操作,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...2021-03-09
- 这篇文章主要介绍了Python中的imread()函数用法说明,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...2021-03-16
- 这篇文章主要介绍了python如何实现b站直播自动发送弹幕,帮助大家更好的理解和学习使用python,感兴趣的朋友可以了解下...2021-02-20
- 这篇文章主要介绍了C#停止线程的方法,实例分析了C#正确停止线程的实现技巧,具有一定参考借鉴价值,需要的朋友可以参考下...2020-06-25
python Matplotlib基础--如何添加文本和标注
这篇文章主要介绍了python Matplotlib基础--如何添加文本和标注,帮助大家更好的利用Matplotlib绘制图表,感兴趣的朋友可以了解下...2021-01-26- 今天小编就为大家分享一篇关于C#开启线程的四种方式示例详解,小编觉得内容挺不错的,现在分享给大家,具有很好的参考价值,需要的朋友一起跟随小编来看看吧...2020-06-25
- 这篇文章主要介绍了解决python 使用openpyxl读写大文件的坑,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...2021-03-13
- 今天小编就为大家分享一篇python 计算方位角实例(根据两点的坐标计算),具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...2020-04-27
- 这篇文章主要为大家详细介绍了python实现双色球随机选号,文中示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下...2020-05-02
- 在本篇文章里小编给大家整理的是一篇关于python中使用np.delete()的实例方法,对此有兴趣的朋友们可以学习参考下。...2021-02-01
- 这篇文章主要介绍了使用Python的pencolor函数实现渐变色功能,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下...2021-03-09
- 这篇文章主要介绍了C# 线程相关知识,文中讲解非常细致,代码帮助大家更好的理解和学习,感兴趣的朋友可以了解下...2020-11-03
Python getsizeof()和getsize()区分详解
这篇文章主要介绍了Python getsizeof()和getsize()区分详解,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧...2020-11-20- 这篇文章主要介绍了python自动化办公操作PPT的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧...2021-02-05