numpy如何等間隔提數(shù)據(jù) arrange函數(shù)的用法?
該函數(shù)用于生成具有起點(diǎn)和終點(diǎn)的特定步驟的數(shù)組。根據(jù)函數(shù)的參數(shù)個(gè)數(shù),分為以下幾種情況:。1.如果只有一個(gè)參數(shù),這個(gè)參數(shù)就是終點(diǎn)。起點(diǎn)默認(rèn)為0,步長默認(rèn)為1。2.有兩個(gè)參數(shù),第一個(gè)參數(shù)是起點(diǎn),第二個(gè)參數(shù)是
該函數(shù)用于生成具有起點(diǎn)和終點(diǎn)的特定步驟的數(shù)組。
根據(jù)函數(shù)的參數(shù)個(gè)數(shù),分為以下幾種情況:。
1.如果只有一個(gè)參數(shù),這個(gè)參數(shù)就是終點(diǎn)。起點(diǎn)默認(rèn)為0,步長默認(rèn)為1。
2.有兩個(gè)參數(shù),第一個(gè)參數(shù)是起點(diǎn),第二個(gè)參數(shù)是終點(diǎn),步長默認(rèn)為1。默認(rèn)值為左閉右開。
3.有三個(gè)參數(shù),第一個(gè)參數(shù)是起點(diǎn),第二個(gè)參數(shù)是終點(diǎn),第三個(gè)參數(shù)是步長。步長支持小數(shù)。
正好我在整理我對Python GIL的理解,正好可以回答這個(gè)問題,貼出來。
GIL的存在一直備受爭議,這使得Python程序無法真正利用現(xiàn)代操作系統(tǒng)的多進(jìn)程特性。需要注意的是,I/O圖形處理和NumPy數(shù)學(xué)計(jì)算等耗時(shí)的操作都發(fā)生在GIL之外,基本上不受影響。真正受影響的是Python字節(jié)碼的執(zhí)行,GIL會導(dǎo)致性能瓶頸。簡而言之,只有當(dāng)純Python用于CPU密集型多線程時(shí),GIL才會成為問題。
什么是GIL?
Python s代碼執(zhí)行由Python虛擬機(jī)控制(也稱解釋器主循環(huán),CPython版本)。Python最初被設(shè)計(jì)成只有一個(gè)線程在解釋器中運(yùn)行主循環(huán)。也就是說,每個(gè)CPU在任何時(shí)候都只有一個(gè)線程在解釋器中運(yùn)行。對python虛擬機(jī)的訪問由全局解釋鎖GIL控制,它控制一次只能運(yùn)行一個(gè)線程。單核CPU下的多線程其實(shí)是并發(fā)的,不是并行的。
并發(fā)和并行的區(qū)別:
并發(fā)性:兩個(gè)或多個(gè)事件在同一時(shí)間間隔內(nèi)發(fā)生,或者交替做不同的事件,或者交替執(zhí)行不同的代碼塊的能力。并行性:兩個(gè)或多個(gè)事件同時(shí)發(fā)生,或者同時(shí)執(zhí)行不同事件,或者同時(shí)執(zhí)行不同代碼塊的能力。并發(fā)和并行的含義:
并發(fā)和并行都可以處理 "多任務(wù) ",兩者的主要區(qū)別在于多任務(wù)是否 "同時(shí)進(jìn)行 "。
但是涉及到任務(wù)分解(有順序依賴耦合度高的任務(wù)不能并行)、任務(wù)操作(互斥、加鎖、共享等。),以及結(jié)果合并。
python中的多線程
在Python多線程下,每個(gè)線程的執(zhí)行模式是:
去找GIL
切換到此線程執(zhí)行。
運(yùn)行代碼讓線程休眠。
釋放GIL
再次重復(fù)上述步驟。
在Python2中,解釋器在解釋和執(zhí)行任何Python代碼時(shí),都需要先獲得這個(gè)鎖(同時(shí)只有一個(gè)獲得了GIL的線程在運(yùn)行,其他線程都在等待,等等。隨著GIL的釋放),當(dāng)遇到I/O操作時(shí),這個(gè)鎖將被釋放。如果是沒有I/O操作的純計(jì)算程序,解釋器會每100次操作釋放一次鎖,讓其他線程有機(jī)會執(zhí)行(這個(gè)數(shù)字可以通過調(diào)整)。正是這樣的設(shè)定,多線程CPU密集型計(jì)算顯得很雞肋,下面就說說為什么。
在python3中,GIL不使用滴答計(jì)數(shù)(100次,釋放GIL),而是使用定時(shí)器(執(zhí)行時(shí)間達(dá)到15ms閾值后,當(dāng)前線程釋放GIL),使得執(zhí)行次數(shù)更多,釋放次數(shù)更少,對CPU密集型程序更友好,但仍然沒有解決GIL一次只能執(zhí)行一個(gè)線程的問題,所以效率還是不盡如人意。
python s多線程一個(gè)雞肋?
CPU密集型(各種循環(huán)處理,計(jì)數(shù)等。),在這種情況下,滴答數(shù)很快就會達(dá)到閾值,然后觸發(fā)GIL的釋放和重新競爭(多線程來回切換需要資源),所以python中的多線程對CPU密集型代碼并不友好,會觸發(fā)相當(dāng)頻繁的線程切換。
IO密集型(文件處理、網(wǎng)絡(luò)爬蟲等。),多線程可以有效提高效率(如果單線程下有IO操作,就會等待IO,造成不必要的時(shí)間浪費(fèi),而開啟多線程可以在線程A等待的同時(shí)自動切換到線程B,不會浪費(fèi)CPU資源,從而提高程序執(zhí)行效率。一個(gè)線程從GIL獲得一個(gè)消息,然后等待返回消息(阻塞),Python在這個(gè)時(shí)候釋放GIL。其他線程得到GIL發(fā)送的消息,然后等待返回消息(阻塞)........................................................................................................................................................所以python 的多線程對IO密集型代碼很友好。
結(jié)論
I/O密集型使用多線程并發(fā)執(zhí)行提高效率,計(jì)算密集型使用多處理并行執(zhí)行提高效率。通常程序中既包含IO操作,又包含計(jì)算操作,所以這種情況下,在開始并發(fā)任務(wù)之前,可以先測試一下,測試一下多線程多進(jìn)程哪種方法效率高。
請注意:多核多線程比單核多線程差。多核多進(jìn)程下,CPU1釋放GIL后,其他CPU上的線程會競爭,但GIL可能馬上被CPU1拿走。CPU2釋放GIL后,其他CPU上被喚醒的線程會被喚醒,等待切換時(shí)間后再進(jìn)入待調(diào)度狀態(tài),這樣會導(dǎo)致線程抖動,效率降低。
多線程下的CPU密集型計(jì)算并非不可救藥。我們可以用ctypes繞過GIL,ctypes可以讓py變直。然后調(diào)用任意一個(gè)C動態(tài)庫的導(dǎo)出函數(shù)。我們要做的就是用C/C把關(guān)鍵部分寫成Python擴(kuò)展,而且ctypes會在調(diào)用C函數(shù)之前釋放GIL。
同時(shí)可以了解下一個(gè)進(jìn)程,也就是微線程。協(xié)成最大的優(yōu)勢就是極高的執(zhí)行效率。因?yàn)樽映绦蚯袚Q不是線程切換,而是由程序本身控制,所以沒有線程切換的開銷。與多線程相比,線程越多,協(xié)程的性能優(yōu)勢就越明顯。
第二個(gè)好處是不需要多線程鎖機(jī)制,因?yàn)橹挥幸粋€(gè)線程,不存在同時(shí)寫變量的。在協(xié)調(diào)過程中,只需要判斷狀態(tài),不需要鎖定共享資源,因此執(zhí)行效率遠(yuǎn)高于多線程。
因?yàn)檫M(jìn)程是一個(gè)線程執(zhí)行的,如何使用多核CPU?最簡單的方法就是多進(jìn)程協(xié)調(diào),既充分利用了多核,又充分發(fā)揮了協(xié)調(diào)的高效率,可以獲得極高的性能。
轉(zhuǎn)載請說明出處,如有更多幫助,贊,支持。
來自我的頭條文章,文章鏈接: