處理併發連接的傳統的基於進程或線程的模型涉及使用單獨的進程或線程處理每個連接,並阻止網路或輸入/輸出操作。 根據應用,在內存和CPU消耗方面可能非常低效。 產生一個單獨的進程或線程需要準備一個新的運行時環境,包括分配堆和堆疊記憶體,以及創建新的執行上下文。 額外的CPU時間也用於創建這些專案,這可能會導致由於線程在過多的上下文切換上的轉機而導致性能下降。 所有這些併發症都表現在較老的Web伺服器架構(如Apache)中。 這是提供豐富的一般應用功能和優化的伺服器資源使用之間的一個折衷。
從一開始nginx就是一個專門的工具,可以實現更高性能,更密集和經濟地使用伺服器資源,同時實現網站的動態發展,所以它採用了不同的模式。 它實際上受到各種操作系統中高級事件機制的不斷發展的啟發。發展結果變成是一個模組化的,事件驅動的,非同步的,單線程的非阻塞架構的nginx代碼基礎。
nginx大量使用複用和事件通知,並專門用於分離進程的特定任務。 連接在有限數量的單線程進程稱為工作(worker
)的高效運行迴圈中處理。 在每個工作(worker
)中,nginx可以處理每秒數千個併發連接和請求。
代碼結構
nginx工作(worker
)碼包括核心和功能模組。 nginx的核心是負責維護嚴格的運行迴圈,並在請求處理的每個階段執行模組代碼的適當部分。 模組構成了大部分的演示和應用層功能。 模組讀取和寫入網路和存儲,轉換內容,執行出站過濾,應用伺服器端包含操作,並在代理啟動時將請求傳遞給上游伺服器。
nginx的模組化架構通常允許開發人員擴展一組Web伺服器功能,而無需修改nginx內核。 nginx模組略有不同,即核心模組,事件模組,階段處理程式,協議,可變處理程式,篩檢程式,上游和負載平衡器。nginx不支持動態加載的模組; 即在構建階段將模組與核心一起編譯。
在處理與接受,處理和管理網路連接和內容檢索相關的各種操作時,nginx在基於Linux,Solaris和BSD的操作系統中使用事件通知機制和一些磁片I/O性能增強,如:kqueue,epoll, 和事件端口。 目標是為操作系統提供盡可能多的提示,以便及時獲取入站和出站流量,磁片操作,讀取或寫入套接字,超時等非同步回饋。 對於每個基於Unix的nginx運行的操作系統,大量優化了複用和高級I/O操作的不同方法的使用。
nginx架構的高級概述如下圖所示 -
工作模式
如前所述,nginx不會為每個連接生成一個進程或線程。 相反,工作(worker
)進程接受來自共用“listen”套接字的新請求,並在每個工作(worker
)內執行高效的運行迴圈,以處理每個工作(worker
)中的數千個連接。 沒有專門的仲裁或分配與nginx工作(worker
)的聯繫; 這個工作(worker
)是由操作系統內核機制完成的。 啟動後,將創建一組初始偵聽套接字。 然後,工作(worker
)在處理HTTP請求和回應時不斷接受,讀取和寫入套接字。
運行迴圈是nginx工作(worker
)代碼中最複雜的部分。 它包括全面的內部調用,並且在很大程度上依賴非同步任務處理的想法。 非同步操作通過模組化,事件通知,廣泛使用回調函數和微調定時器來實現。 總體而言,關鍵原則是盡可能不阻塞。 nginx仍然可以阻塞的唯一情況是工作(worker
)進程沒有足夠的磁片存儲。
由於nginx不會連接一個進程或線程,所以在絕大多數情況下,記憶體使用非常保守,非常有效。 nginx也節省CPU週期,因為進程或線程沒有持續的創建 - 銷毀模式。 nginx的作用是檢查網路和存儲的狀態,初始化新連接,將其添加到運行迴圈中,並非同步處理直到完成,此時連接被重新分配並從運行迴圈中刪除。 結合仔細使用系統調用(syscall
)和精確實現支持介面(如pool
和slab
記憶體分配器),nginx通常可以在極端工作負載下實現中到低的CPU使用。
在一些磁片使用和CPU負載模式,應調整nginx工作(worker
)的數量。 在這裏說一點基礎規則:系統管理員應該為其工作負載嘗試幾個配置。 一般建議可能如下:如果負載模式是CPU密集型的,例如,處理大量TCP/IP,執行SSL或壓縮,則nginx工作(worker
)的數量應與CPU內核數量相匹配; 如果負載大多是磁片I/O綁定,例如,從存儲或重代理服務不同的內容集合 - 工作(worker
)的數量可能是核心數量的一到兩倍。有些工程師會根據個人存儲單元的數量選擇工作(worker
)的數量,但這種方法的效率取決於磁片存儲的類型和配置。
nginx的開發人員將在即將推出的版本中解決的一個主要問題是如何避免磁片I/O上的大多數阻塞。 目前,如果沒有足夠的存儲性能來提供特定工作(worker
)生成的磁片操作,該工作(worker
)可能仍然阻止從磁片讀取/寫入。 存在許多機制和配置檔指令來減輕此類磁片I/O阻塞情況。要注意的是,諸如:sendfile和AIO之類的選項的組合通常會為磁片性能帶來很大的餘量。 應該根據數據集,可用於nginx的記憶體量和底層存儲架構來規劃安裝一個nginx伺服器。
現有工作(worker
)模式的另一個問題是與嵌入式腳本的有限支持有關。 一個使用標準的nginx分發,只支持嵌入Perl腳本。一個簡單的解釋:關鍵問題是嵌入式腳本阻止任何操作或意外退出的可能性。 這兩種類型的行為將立即導致工作(worker
)掛起的情況,同時影響到數千個連接。 更多的工作(worker
)計畫是使nginx的嵌入式腳本更簡單,更可靠,適用於更廣泛的應用。
nginx進程角色
nginx在內存中運行多個進程; 有一個主進程和幾個工作(worker
)進程。 還有一些特殊用途的過程,特別是緩存加載器和緩存管理器。 所有進程都是單線程版本為1.x
的nginx。 所有進程主要使用共用記憶體機制進行進程間通信。主進程作為root
用戶運行。 緩存加載器,緩存管理器和工作(worker
)則以無權限用戶運行。
主程序負責以下任務:
- 讀取和驗證配置
- 創建,綁定和關閉套接字
- 啟動,終止和維護配置的工作(
worker
)進程數 - 重新配置,無需中斷服務
- 控制不間斷的二進位升級(如果需要,啟動新的二進位並回滾)
- 重新打開日誌檔
- 編譯嵌入式Perl腳本
工作(worker
)進程接受,處理和處理來自客戶端的連接,提供反向代理和過濾功能,並執行幾乎所有其他的nginx能力。 關於監視nginx實例的行為,系統管理員應該關注工作(worker
)進程,因為它們是反映Web伺服器實際日常操作的過程。
緩存加載器進程負責檢查磁片緩存專案,並使用緩存元數據填充nginx的記憶體資料庫。 本質上,緩存加載器準備nginx實例來處理已經存儲在磁片上的特定分配的目錄結構中的檔。 它遍曆目錄,檢查緩存內容元數據,更新共用記憶體中的相關條目,然後在所有內容清潔並準備使用時退出。
緩存管理器主要負責緩存到期和無效。 在正常的nginx操作期間它保持在內存中,並且在失敗的情況下由主進程重新啟動。
nginx緩存簡介
在nginx中的緩存以檔系統上的分層數據存儲的形式實現。 緩存密鑰是可配置的,並且可以使用不同的請求特定參數來控制進入緩存的內容。 緩存密鑰和緩存元數據存儲在共用記憶體段中,高速緩存加載器,緩存管理器和工作(worker
)可以訪問它們。 目前,除了操作系統的虛擬檔系統機制暗示的優化之外,沒有任何記憶體中的檔緩存。 每個緩存的回應都放在檔系統上的不同檔中。 層次結構(級別和命名細節)通過nginx配置指令進行控制。 當回應寫入緩存目錄結構時,檔的路徑和名稱將從代理URL的MD5哈希導出。
將內容放置在緩存中的過程如下:當nginx從上游伺服器讀取回應時,內容首先寫入緩存目錄結構之外的臨時檔。 當nginx完成處理請求時,它重命名臨時檔並將其移動到緩存目錄。 如果用於代理的臨時檔目錄位於另一個檔系統上,則該檔將被複製,因此建議將臨時檔目錄和緩存目錄保存在同一檔系統上。 當需要顯式清除緩存目錄結構時,從檔中刪除檔也是非常安全的。 nginx有第三方擴展,可以遠程控制緩存的內容,還有更多的工作計畫將此功能集成到主分發中。