隊(duì)列-Queue

FIFO（先入先出)隊(duì)列Queue，LIFO（后入先出）隊(duì)列LifoQueue，和優(yōu)先級(jí)隊(duì)列PriorityQueue。

常用方法：

Queue.qsize() 返回隊(duì)列的大小

Queue.empty() 如果隊(duì)列為空，返回True,反之False

Queue.full() 如果隊(duì)列滿了，返回True,反之False，Queue.full 與 maxsize 大小對(duì)應(yīng)

Queue.get(item) 獲取隊(duì)列

Queue.get_nowait() 相當(dāng)于Queue.get(False)，非阻塞方法

Queue.put(item) 寫(xiě)入隊(duì)列

Queue.task_done() 在完成一項(xiàng)工作之后，Queue.task_done()函數(shù)向任務(wù)已經(jīng)完成的隊(duì)列發(fā)送一個(gè)信號(hào)。每個(gè)get()調(diào)用得到一個(gè)任務(wù)，接下來(lái)task_done()調(diào)用告訴隊(duì)列該任務(wù)已經(jīng)處理完畢。

Queue.join() 實(shí)際上意味著等到隊(duì)列為空，再執(zhí)行別的操作

Queue隊(duì)列方法主要用于我們的進(jìn)程間的通信。

進(jìn)程中的通信一個(gè)最主要的用途就是用于日后的爬蟲(chóng)，當(dāng)我們需要爬取5000個(gè)網(wǎng)頁(yè)的時(shí)候，我們需要從瀏覽器首頁(yè)獲取所有的靜態(tài)資源（檢查網(wǎng)頁(yè)代碼），然后再通過(guò)內(nèi)容提取來(lái)提取出其中的URL（全局資源定位符），比如：www.baidu.com，這就和生產(chǎn)者消費(fèi)者模型很相似。

我們來(lái)簡(jiǎn)單實(shí)現(xiàn)"生產(chǎn)者消費(fèi)者模型"：

進(jìn)程池-Pool

一、什么是進(jìn)程池？

在程序?qū)嶋H處理問(wèn)題過(guò)程中，忙時(shí)會(huì)有成千上萬(wàn)的任務(wù)需要被執(zhí)行，閑時(shí)可能只有零星任務(wù)。那么在成千上萬(wàn)個(gè)任務(wù)需要被執(zhí)行的時(shí)候，我們就需要去創(chuàng)建成千上萬(wàn)個(gè)進(jìn)程么？首先，創(chuàng)建進(jìn)程需要消耗時(shí)間，銷(xiāo)毀進(jìn)程也需要消耗時(shí)間。第二即便開(kāi)啟了成千上萬(wàn)的進(jìn)程，操作系統(tǒng)也不能讓他們同時(shí)執(zhí)行，這樣反而會(huì)影響程序的效率。因此我們不能無(wú)限制的根據(jù)任務(wù)開(kāi)啟或者結(jié)束進(jìn)程。那么我們要怎么做呢？

進(jìn)程池就是先定義一個(gè)池子，在里面放上固定數(shù)量的進(jìn)程，有需求來(lái)了，就拿一個(gè)池中的進(jìn)程來(lái)處理任務(wù)，等到處理完畢，進(jìn)程并不關(guān)閉，而是將進(jìn)程再放回進(jìn)程池中繼續(xù)等待任務(wù)。如果有很多任務(wù)需要執(zhí)行，池中的進(jìn)程數(shù)量不夠，任務(wù)就要等待之前的進(jìn)程執(zhí)行任務(wù)完畢歸來(lái)，拿到空閑進(jìn)程才能繼續(xù)執(zhí)行。也就是說(shuō)，池中進(jìn)程的數(shù)量是固定的，那么同一時(shí)間最多有固定數(shù)量的進(jìn)程在運(yùn)行。這樣不會(huì)增加操作系統(tǒng)的調(diào)度難度，還節(jié)省了開(kāi)閉進(jìn)程的時(shí)間，也一定程度上能夠?qū)崿F(xiàn)并發(fā)效果。

二、程序類(lèi)型

我們的程序有兩種：計(jì)算密集型、IO密集型

計(jì)算密集型：充分利用CPU，多線程可以充分利用多核（適合開(kāi)啟多進(jìn)程，但不適合開(kāi)啟很多）

IO密集型：大部分的時(shí)間都在阻塞隊(duì)列，而不是在運(yùn)行狀態(tài)（根本不適合開(kāi)啟多進(jìn)程）

信號(hào)量和多進(jìn)程的處理方式的差異在于，每n個(gè)信號(hào)量是同步的，也就是說(shuō)，如果只設(shè)置了4個(gè)信號(hào)量，4個(gè)用戶先搶占了CPU，那剩余的496個(gè)任務(wù)量需要等待前面4個(gè)用戶完成了（100%）之后才能夠繼續(xù)進(jìn)行。而多進(jìn)程是異步的，但是由于計(jì)算機(jī)的CPU有限，采用時(shí)間片輪轉(zhuǎn)法進(jìn)行分配工作，所有的進(jìn)程都有機(jī)會(huì)同時(shí)開(kāi)始任務(wù)，但一段（細(xì)微）時(shí)間后，時(shí)間片就會(huì)分配給其他進(jìn)程，這樣宏觀上看起來(lái)它是同時(shí)進(jìn)行的，但其中涉及到了非常多的計(jì)算機(jī)的進(jìn)程調(diào)度，但是信號(hào)量和多進(jìn)程的處理時(shí)間需要視情況而定。

進(jìn)程池在面對(duì)這種（做500件衣服）計(jì)算密集型的程序時(shí)具有非常高的效率，使用進(jìn)程池不涉及進(jìn)程調(diào)度，也就不浪費(fèi)時(shí)間，屬于流水線式24h晝夜不息工作模式，做完一件衣服立馬就會(huì)接手第二件、第三件......這種方式充分地利用了CPU，不會(huì)在創(chuàng)建進(jìn)程、進(jìn)程調(diào)度、銷(xiāo)毀進(jìn)程中浪費(fèi)時(shí)間。

從結(jié)果來(lái)看，我們可以發(fā)現(xiàn)，進(jìn)程池的速度與多進(jìn)程和信號(hào)量比起來(lái)那是相當(dāng)?shù)耐廴Ｋ栽撚媚姆N方法不用多說(shuō)了吧。



審核編輯：劉清