进程和线程编程语言中常见的知识点,Python作为人工智能时代常用的编程语言中也涉及进程和线程的内容,很多参加Python培训机构的学员在学习之初都会学习进程池和线程池,今天小编就来给大家普及一下这些知识点。
进程池
进程池是资源进程、管理进程组成的技术的应用。Python中,进程池内部会维护一个进程序列。当需要时,程序会去进程池中获取一个进程。如果进程池序列中没有可供使用的进程,那么程序就会等待,直到进程池中有可用进程为止。
进程池中的子进程运行着相同的代码、具有相同的属性,每个属性都相对“干净”,即它们没有打开不必要的文件描述符、也不会错误的使用大块的堆内存(从父进程继承复制而来)。
在进程池中,主进程使用某种算法来主动选择子进程,主进程和所有子进程通过一个共享的工作队列来实现同步。主进程除了选择好子进程以外,还需要使用某种通知机制来告诉目标子进程有新任务需要处理,并传递必要的数据。
进程池如何唤醒自己相应的子进程?使用的epoll监听事件。首先确定自己要监听子进程的什么事件然后再注册事件;使用run_child函数去跑第i个子进程,然后再主函数中通过for(epoll_wait返回的是活跃客户端的个数)对活跃的事件进行一一处理;用进程池存放好子进程的pid和管道,有新的链接来的时候就使用池子里的子进程去完成操作。
线程池
线程池是一种多线程处理形式,处理过程中将任务添加到队列,然后在创建线程后自动启动这些任务,线程池线程都是后台线程。
对于任务数量不断增加的程序,每有一个任务就生成一个线程,终会导致线程数量的失控;而每启动一个线程就会生成一个链接,作为新任务就要为这些新的链接生成新的线程,线程数量暴涨。在之后的运行中,线程数量还会不停的增加,完全无法控制。所以,对于任务数量不端增加的程序,固定线程数量的线程池是必要的。
如何操作进程池和线程池?
1、Executor。Executor是一个抽象类,它不能被直接使用。但是它提供的两个子类ThreadPoolExecutor和ProcessPoolExecutor却分别被用来创建线程池和进程池的代码。
2、Future。它提供了ThreadPoolExecutor和ProcessPoolExecutor两个类,实现了对threading和multiprocessing的进一步抽象,对编写线程池/进程池提供了直接的支持。
3、submit。使用submit方法来往线程池中加入一个task,submit返回一个Future对象,对于Future对象可以简单地理解为一个在未来完成的操作。
4、map/wait。map是按照URLS列表元素的顺序返回的,并且写出的代码加简洁直观;wait方法接会返回一个tuple(元组),tuple中包含两个set(集合),一个是completed(已完成的),另外一个是uncompleted(未完成的)。使用wait方法的一个优势就是获得大的自由度。
如果你想成为满足企业需要的Python工程师,如果你想熟练掌握Python基础知识并积累较多的实战经验,建议你参加千锋郑州python培训班。千锋Python培训以行业为导向,紧抓企业痛点设计课程大纲,内容覆盖爬虫新技术、所有类型数据库以及机器学习案例优化,让你扎扎实实学技术,轻轻松松拿!