校園網(wǎng)招生網(wǎng)站不懼海量訪問高考的到來使６、７月人們對(duì)招生網(wǎng)站的關(guān)注程度達(dá)到沸點(diǎn)。網(wǎng)絡(luò)管理人員必須部署一個(gè)架構(gòu)合理、運(yùn)行良好的招生網(wǎng)站，否則難以承受成千上萬的并發(fā)訪問。因此，為確保在大并發(fā)訪問情況下網(wǎng)站

校園網(wǎng)

招生網(wǎng)站不懼海量訪問

高考的到來使６、７月人們對(duì)招生網(wǎng)站的關(guān)注程度達(dá)到沸點(diǎn)。網(wǎng)絡(luò)管理人員必須部署一個(gè)架構(gòu)合理、運(yùn)行良好的招生網(wǎng)站，否則難以承受成千上萬的并發(fā)訪問。因此，為確保在大并發(fā)訪問情況下網(wǎng)站對(duì)外服務(wù)的高可用性和高穩(wěn)定性，就要擺脫一般網(wǎng)站的部署思路，

需要從系統(tǒng)架構(gòu)的角度對(duì)網(wǎng)站進(jìn)行全方位審視和設(shè)計(jì)。

文/任軍

挑戰(zhàn)井噴式并發(fā)訪問

隨著計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)的發(fā)展和應(yīng)用以及網(wǎng)絡(luò)在家庭和社會(huì)的普及，我國(guó)基于廣域網(wǎng)Web 的招 生考試類業(yè)務(wù)已經(jīng)逐步開展起來。

包含各項(xiàng)Web 應(yīng)用的招考類站點(diǎn)具有如下特點(diǎn)：一是網(wǎng)站日常部署規(guī)模相對(duì)較小。二是網(wǎng)站全年不同時(shí)間段訪問量變化巨大，在日常情況下，訪問量普遍較小，而在某項(xiàng)業(yè)務(wù)開展季節(jié)，網(wǎng)站的訪問量可能會(huì)井噴式的急劇增長(zhǎng)，比如2009年，河北省教育考試院網(wǎng)站日常訪問量基本維持在3～5萬點(diǎn)擊量水平，在普通高考成績(jī)查詢服務(wù)開通的最初兩個(gè)小時(shí)內(nèi)，訪問量猛增到310萬，查詢次數(shù)達(dá)到190萬人次。三是，因?yàn)橄嚓P(guān)業(yè)務(wù)涉及考生家長(zhǎng)的切身利益，整個(gè)業(yè)務(wù)流程的各個(gè)環(huán)節(jié)在時(shí)間上前后關(guān)聯(lián)，因此對(duì)所提供Web 服務(wù)的可用性和穩(wěn)定性提出了很高的要求。

從網(wǎng)絡(luò)系統(tǒng)整體架構(gòu)的設(shè)計(jì)和部署角度考慮，如何最大限度的確保網(wǎng)站的可用性和穩(wěn)定性是我們?cè)噲D解決的問題。

源時(shí)，訪問質(zhì)量就急速下降，甚至無法訪問。招考類網(wǎng)站服務(wù)對(duì)象為各類考生，考生類別的多樣性和上網(wǎng)地點(diǎn)的不確定性決定了用戶終端接入的ISP 多種多樣。因此，如何確保用戶與網(wǎng)站的順暢聯(lián)通，是招考類網(wǎng)站首先需要解決的問題。

2. 在服務(wù)器系統(tǒng)方面負(fù)載能力的可擴(kuò)展問題

在網(wǎng)絡(luò)訪問量持續(xù)增大或井噴式增長(zhǎng)的情況下，單一服務(wù)器根本無法承擔(dān)訪問負(fù)載，如何確保服務(wù)器數(shù)量根據(jù)訪問負(fù)載靈活、有效、透明的擴(kuò)展，以增加服務(wù)器吞吐量和網(wǎng)絡(luò)數(shù)據(jù)處理能力，減少用戶等待響應(yīng)時(shí)間，也是應(yīng)對(duì)大并發(fā)訪問要解決的一個(gè)基本問題。

3. 在高并發(fā)環(huán)境下進(jìn)一步提升服務(wù)器的有效負(fù)載的問題

在解決多ISP 互聯(lián)互通問題以及基本的服務(wù)器擴(kuò)展問題之后，我們發(fā)現(xiàn)訪問量的持續(xù)增加，服務(wù)器負(fù)載不斷加重，導(dǎo)致在高峰時(shí)需要上線的服務(wù)器數(shù)量非常龐大，除了帶來巨額的硬件成本投入外，對(duì)服務(wù)群的管理性也帶來了巨大挑戰(zhàn)， 很難確保對(duì)每一臺(tái)服務(wù)器進(jìn)行有效管理，因此，整個(gè)應(yīng)用系統(tǒng)的可用性大大降低。因此，如何采取各種措施，進(jìn)一步優(yōu)化網(wǎng)絡(luò)和應(yīng)用性能，增強(qiáng)服務(wù)器有效負(fù)載能力，在最大限度減少服務(wù)器部署臺(tái)數(shù)的基礎(chǔ)上，增加服務(wù)器的可管理性，大幅提升應(yīng)用性能是最終能否使應(yīng)用系統(tǒng)可用和穩(wěn)定的關(guān)鍵步驟。

三大主要性能瓶頸

1. 在鏈路方面，多ISP 環(huán)境下用戶與網(wǎng)站的互聯(lián)互通問題

目前，我國(guó)各網(wǎng)絡(luò)運(yùn)營(yíng)商之間的互聯(lián)互通存在比較嚴(yán)重的問題，具體表現(xiàn)在同一個(gè)ISP 的范圍內(nèi)，網(wǎng)站的訪問很流暢，當(dāng)試圖去訪問于另一個(gè)ISP 范圍內(nèi)的網(wǎng)站資

2010.6 中國(guó)教育網(wǎng)絡(luò)

51

校園網(wǎng)

在大并發(fā)訪問環(huán)境下招生考試類Web 網(wǎng)站的設(shè)計(jì)與部署主要圍繞解決以上三個(gè)主要技術(shù)問題展開。同時(shí)考慮到網(wǎng)站特點(diǎn)（靜態(tài)、動(dòng)態(tài)）、訪問規(guī)模和成本預(yù)算控制等因素，在下面內(nèi)容中給出了免費(fèi)軟件自行配置和專用產(chǎn)品部署兩種解決方案。以便根據(jù)實(shí)際情況有選擇的參考實(shí)施。

在具體實(shí)現(xiàn)上，采用軟硬件方式，最基本功能我們可以采用BIND 9.x的VIEW 字句自行配置實(shí)現(xiàn)。

為更好理解該技術(shù)的工作原理，下面以三個(gè)ISP 出口鏈路為例，簡(jiǎn)要介紹一下主要配置?？偟膩碚f，就是通過VIEW 與ACL 協(xié)同工作，以實(shí)現(xiàn)根據(jù)用戶源IP 地址智能解析對(duì)應(yīng)服務(wù)器的IP 地址。具體說，因一

圖２　基于ＮＡＴ的負(fù)載均衡器的基本實(shí)現(xiàn)原理

攻關(guān)瓶頸的方法

多鏈路環(huán)境下帶寬的有效利用問題

針對(duì)ISP 間的互聯(lián)互通問題，首先，選擇盡量多的ISP 鏈路以應(yīng)對(duì)考生接入方式的多樣性，如河北省考試院為配合網(wǎng)站建設(shè)接入了目前國(guó)內(nèi)三個(gè)主要的ISP 鏈路，中國(guó)聯(lián)通、中國(guó)電信和教育網(wǎng)；在此基礎(chǔ)上，解決多鏈路互聯(lián)互通問題，即實(shí)現(xiàn)用戶與網(wǎng)站的數(shù)據(jù)交換都在與用戶相同的ISP 網(wǎng)絡(luò)里進(jìn)行，即若用戶連入的是聯(lián)通網(wǎng)絡(luò)，則用戶與網(wǎng)站的數(shù)據(jù)交換都通過聯(lián)通鏈路進(jìn)行。

解決這一問題，從根本上，目前普遍采用的是智能域名解析技術(shù)。它是針對(duì)一個(gè)固定域名對(duì)應(yīng)多個(gè)固定IP 地址而提出的，該技術(shù)的核心是讓DNS 服務(wù)器在響應(yīng)域名查詢請(qǐng)求之前，根據(jù)用戶端源IP 地址所處的ISP （通過IP 地址范圍確定）的不同，智能地返回不同的解析結(jié)果給對(duì)應(yīng)的客戶端。例如當(dāng)分別位于教育網(wǎng)、中國(guó)聯(lián)通和中國(guó)

個(gè)域名指向三個(gè)不同的網(wǎng)域，因此首先需要在named.conf 文件中通過ACL 定義三個(gè)不同的ISP 地址列表，即VIEW 分別指到用一個(gè)域名的三個(gè)不同網(wǎng)域，之后當(dāng)處于不同VIEW 中的用戶訪問這個(gè)域名時(shí)，將被引導(dǎo)到對(duì)應(yīng)的解析文件中，每個(gè)解析文件定義了該網(wǎng)域?qū)?yīng)的服務(wù)器的IP 地址，最后通過BIND 將該地址作為域名對(duì)應(yīng)的IP 地址返給用戶，從而實(shí)現(xiàn)DNS 的智能解析功能。三個(gè)出口的智能解析部署示意圖見圖1。

2 .專用硬件設(shè)備實(shí)現(xiàn)

免費(fèi)軟硬件部署方式主要確定由于本身性能限制，有可能造成整個(gè)系統(tǒng)性能提升的瓶頸。此外，系統(tǒng)的穩(wěn)定性也是一個(gè)不容忽視的問題。而針對(duì)多條鏈路的健康狀態(tài)的檢查等更高級(jí)功能，實(shí)現(xiàn)起來相對(duì)困難。以上問題在較好解決的前提下，因?yàn)槠涞统杀拘?，因此有一定的使用價(jià)值，而若較徹底地解決以上問題，可以采用專用的硬件鏈路負(fù)載均衡產(chǎn)品。這類設(shè)備也部署在網(wǎng)絡(luò)出口處，在實(shí)現(xiàn)基本功能的基礎(chǔ)上，還可以通過監(jiān)控鏈路的負(fù)載狀態(tài)和健康狀態(tài)，根據(jù)其情況以及用戶所處的位置或用戶的特殊要求進(jìn)行相應(yīng)的智能域名解析，指引用戶從最快的、最好的、最近的路徑訪問到網(wǎng)站。此外，專用設(shè)備還可以在當(dāng)某條鏈路中斷時(shí)，自動(dòng)切換到其他鏈路上去，確保鏈路的高可用性。因此在性能和功能上得到了很大提升。

的負(fù)載均衡、基于HTTP 重定向的負(fù)載均衡以及基于NAT 的負(fù)載均衡。目前采用最多的是基于NAT 的負(fù)載均衡技術(shù)。下面對(duì)其工作原理做一說明。

NAT 負(fù)載均衡將一個(gè)外部IP 地址映射為多個(gè)內(nèi)部IP 地址，對(duì)每次連接請(qǐng)求動(dòng)態(tài)地轉(zhuǎn)換為一個(gè)內(nèi)部服務(wù)器的地址，將外部連接請(qǐng)求引到轉(zhuǎn)換得到地址的那個(gè)服務(wù)器上，從而達(dá)到負(fù)載均衡的目的。起著NAT 負(fù)載均衡功能的設(shè)備一般處于內(nèi)部服務(wù)器到外部網(wǎng)間的網(wǎng)關(guān)位置。最基本功能可以通過軟硬件方式來實(shí)現(xiàn)。

1. 基本功能實(shí)現(xiàn)

為更好理解實(shí)現(xiàn)原理，下面簡(jiǎn)要介紹一下以Cisco 路由器實(shí)現(xiàn)NAT 負(fù)載均衡的主要配置現(xiàn)有一臺(tái)有一個(gè)串行接口和一個(gè)Ethernet 接口的路由器，Ethernet 口連接到內(nèi)部網(wǎng)絡(luò)，內(nèi)部網(wǎng)絡(luò)上有三臺(tái)Web 服務(wù)器，為了處理好來自Internet 上大量的Web 連接請(qǐng)求，需要在此路由器上做NAT 負(fù)載均衡配置，把發(fā)送到Web 服務(wù)器合法Internet IP地址的報(bào)文轉(zhuǎn)換成這三臺(tái)服務(wù)器的內(nèi)部本地地址。實(shí)現(xiàn)過程如圖2所示。

其具體配置過程如下：

做好路由器的基本配置，定義各個(gè)接口在做NAT 時(shí)是內(nèi)部還是外部接口后，定義一個(gè)標(biāo)準(zhǔn)訪問列表（standard access list），用來標(biāo)識(shí)要轉(zhuǎn)換的合法IP 地址。再定義NAT 地址池來標(biāo)識(shí)內(nèi)部Web 服務(wù)器的本地地址，注意要用到關(guān)鍵字rotary ，表明我們要使用輪循的方式從NAT 地址池中取出相應(yīng)IP 地址來轉(zhuǎn)換合法IP 報(bào)文。最后，把目標(biāo)地址為訪問表中IP 的報(bào)文轉(zhuǎn)換成地址池中定義的IP 地址。限于篇幅只將主要配置

描述如下：

圖

１　　三個(gè)出口的智能部署示意

服務(wù)器可擴(kuò)展問題

解決服務(wù)器可擴(kuò)展問題的基本辦法是通過服務(wù)器負(fù)載均衡技術(shù)將眾多請(qǐng)求均衡到多臺(tái)服務(wù)器上，對(duì)用戶而言，面對(duì)的只是一臺(tái)虛擬的服務(wù)器，整個(gè)分流轉(zhuǎn)發(fā)過程是透明的?，F(xiàn)有的服務(wù)器負(fù)載均衡技術(shù)主要包括基于DNS 的負(fù)載均衡、基于反向代理

電信的用戶訪問同一個(gè)域名時(shí)，DNS 服務(wù)器會(huì)對(duì)每一個(gè)用戶的源IP 地址進(jìn)行智能對(duì)比分析，并根據(jù)分析結(jié)果返回所在的ISP 的IP 地址。以在用戶和服務(wù)器之間建立最短、最優(yōu)的路徑。

1. 基本功能實(shí)現(xiàn)

52中國(guó)教育網(wǎng)絡(luò) 2010.6

ip access-list 1 permit 200.100.1.2

!

ip nat pool websrv 192.168.2.1 192.168.2.3 netmask 255. 255.255.248 type rota

ry

ip nat inside destination list 1 pool websrv

2. 專用硬件設(shè)備實(shí)現(xiàn)

通過軟硬件方式來實(shí)現(xiàn)NAT 負(fù)載均衡主要應(yīng)用在服務(wù)器數(shù)量較少，并且可以確保每臺(tái)服務(wù)器能正常提供服務(wù)的情況，而上述方案的采用輪詢方式可能會(huì)把請(qǐng)求直接拋向問題服務(wù)器，導(dǎo)致無法對(duì)外提供有效服務(wù)情況的發(fā)生。此外，上述方式還存在如下缺點(diǎn)：（1）應(yīng)用系統(tǒng)的整體處理能力往往受到軟硬件本身帶寬、處理能力、穩(wěn)定性的限制；（2）NAT 工作在IP 層，負(fù)載均衡算法有限。

因此，除以上解決方案外，在預(yù)算允許的情況下，還可以通過專用硬件設(shè)備-服務(wù)器負(fù)載均衡器來實(shí)現(xiàn)相關(guān)功能，專用硬件設(shè)備的主要優(yōu)勢(shì)包括：（1）設(shè)備的處理能力和穩(wěn)定性大大得到了提高；（2）這些設(shè)備工作在4~7層，可以對(duì)2~7層的故障進(jìn)行檢查，使對(duì)服務(wù)器的狀態(tài)檢查更加豐富、靈活；

3）在動(dòng)態(tài)應(yīng)用中，可以進(jìn)行靈活的會(huì)話保持，它可以識(shí)別客戶與服務(wù)器之間交互過程的關(guān)連性，在作負(fù)載均衡的同時(shí)，還保證一系列相關(guān)連的訪問請(qǐng)求會(huì)保持分配到一臺(tái)服務(wù)器上。

當(dāng)用戶訪問一個(gè)代表一個(gè)服務(wù)器群的對(duì)外IP 地址時(shí)，負(fù)載均衡器會(huì)根據(jù)會(huì)話狀態(tài)、負(fù)載均衡策略以及監(jiān)控檢查結(jié)果來決定把請(qǐng)求轉(zhuǎn)發(fā)到哪臺(tái)服務(wù)器上，最后由負(fù)載均衡器再把服務(wù)器的響應(yīng)轉(zhuǎn)發(fā)給用戶。目前，專用的負(fù)載均衡產(chǎn)品可以提供多達(dá)12種算法，比如：（1）輪詢（Round Robin）：順序循環(huán)將請(qǐng)求一次順序循環(huán)地連接每個(gè)服務(wù)器。（2）最少的連接方式（L e a s t Connection ）：傳遞新的連接給那些進(jìn)行最少連接處理的服務(wù)器；（3）最快模式Fastest ）：傳遞連接給那些響應(yīng)最快的服務(wù)器；（4）觀察模式（Observed ）：連接數(shù)目和響應(yīng)時(shí)間以這兩項(xiàng)的最佳平衡為依據(jù)為新的請(qǐng)求選擇服務(wù)器，等等。需要指出的是，這些算法都能探測(cè)某個(gè)服務(wù)器發(fā)生的校園網(wǎng)

降低了其網(wǎng)絡(luò)I/O處理的負(fù)擔(dān)，使服務(wù)器將更多的系統(tǒng)資源用于應(yīng)用層事務(wù)處理，使單臺(tái)服務(wù)器可以支持更多用戶的請(qǐng)求。2 .TCP數(shù)據(jù)壓縮加速設(shè)備通過對(duì)靜、動(dòng)態(tài)內(nèi)容進(jìn)行壓縮和調(diào)整，減少實(shí)際傳輸流量的大小。可以有效縮短下載頁(yè)面的等待時(shí)間，改善用戶對(duì)訪問的滿意度。另外，降低了內(nèi)容對(duì)帶寬圖３?。祝澹鈶?yīng)用加速設(shè)備部署示意

的占用，網(wǎng)站可以用更少的帶寬為同樣數(shù)第2到第7層故障，若發(fā)現(xiàn)故障，就把其從量的用戶提供服務(wù)，或者用同樣大小的帶順序循環(huán)隊(duì)列中拿出，不參加下一次的輪寬為更多用戶提供服務(wù)。詢，直到其恢復(fù)正常。3 .HTTP緩存這些算法根據(jù)業(yè)務(wù)和設(shè)備情況綜合運(yùn)多數(shù)情況下，網(wǎng)站內(nèi)容被訪問的規(guī)律用，在大大提升了應(yīng)用系統(tǒng)的可用性同時(shí)呈現(xiàn)高度的集中性和重復(fù)性。網(wǎng)站加速設(shè)也大大降低了針對(duì)規(guī)模龐大的服務(wù)器群的備將用戶曾經(jīng)訪問過的內(nèi)容保存下來，當(dāng)管理難度。下次有對(duì)相同內(nèi)容的請(qǐng)求的時(shí)候，將該內(nèi)應(yīng)用加速技術(shù)容直接發(fā)送給訪問者，從而使服務(wù)器不需上文已經(jīng)提到，當(dāng)網(wǎng)站訪問量持續(xù)增要重復(fù)生成相同內(nèi)容的頁(yè)面。加時(shí)，我們必須通過在系統(tǒng)中加入更多的目前的加速設(shè)備不僅可以緩存靜態(tài)內(nèi)服務(wù)器加以應(yīng)對(duì)，這不但造成了硬件成本容，還可以對(duì)動(dòng)態(tài)內(nèi)容提供緩存服務(wù)。先進(jìn)的急劇增加，也大大提高了服務(wù)器群的管的控制機(jī)制可以通過多種手段確保緩存內(nèi)理難度，降低了系統(tǒng)的可用性和穩(wěn)定性。為容與數(shù)據(jù)庫(kù)記錄的一致性，隨時(shí)監(jiān)視數(shù)據(jù)有效解決這一問題，近幾年，與此相關(guān)的庫(kù)記錄的變更情況，及時(shí)對(duì)已經(jīng)緩存的相4~7層的應(yīng)用加速類產(chǎn)品開始出現(xiàn)。通過部關(guān)動(dòng)態(tài)內(nèi)容做刷新或者過期處理。緩存功署這類設(shè)備，可以在保持服務(wù)器不增加的能可以從根本上降低應(yīng)用服務(wù)器和數(shù)據(jù)庫(kù)情況下，將應(yīng)用性能提升數(shù)倍。這就意味服務(wù)器的負(fù)荷。對(duì)于那些存在大量重復(fù)查著，大大縮減了需要維護(hù)的服務(wù)器的數(shù)量。詢請(qǐng)求的動(dòng)態(tài)內(nèi)容應(yīng)用，經(jīng)過恰當(dāng)?shù)牟呗赃@類設(shè)備部署在應(yīng)用系統(tǒng)的前端，如圖3所配置之后，一些設(shè)備甚至可以取得95以示。應(yīng)用交付類設(shè)備主要從以下方面來提上的緩存命中率。這意味著平均每100次查升應(yīng)用性能。詢請(qǐng)求，由應(yīng)用加速代替數(shù)據(jù)庫(kù)響應(yīng)其中1．管理網(wǎng)絡(luò)連接-TCP 連接復(fù)用95個(gè)，只有5個(gè)請(qǐng)求需要訪問數(shù)據(jù)庫(kù)。這基本原理是，通常情況下，Web 服務(wù)等同于將網(wǎng)站的服務(wù)能力提高20倍。器要為每一種請(qǐng)求建立一個(gè)新連接，而一該方案無論對(duì)招考類網(wǎng)站本身的建設(shè)臺(tái)或多臺(tái)服務(wù)器必須為每個(gè)連接分配資源，還是其他小型網(wǎng)站隨業(yè)務(wù)發(fā)展而進(jìn)行的擴(kuò)這就減慢了服務(wù)器的響應(yīng)時(shí)間，并從其主容改造等都有較好的借鑒意義。需要注意要任務(wù)（為Web 內(nèi)容提供服務(wù)）中分流了的是，這里主要從系統(tǒng)架構(gòu)的角度探討解資源。應(yīng)用加速設(shè)備直接與用戶建立永久決在大并發(fā)訪問環(huán)境下網(wǎng)站的可用性和穩(wěn)的TCP 連接，去除大部分本來應(yīng)該由服務(wù)定性問題，除此之外，諸如應(yīng)用程序的設(shè)計(jì)器執(zhí)行的“你好-再見”建立和拆除開銷，以及執(zhí)行效率、Web 應(yīng)用安全性、主要網(wǎng)絡(luò)同時(shí)按照某個(gè)比例（比如150：1）與后臺(tái)交換設(shè)備的處理能力等也都是提升網(wǎng)站性服務(wù)器建立少量的TCP 連接。通過永久連能、確保穩(wěn)定可用的關(guān)鍵因素，在網(wǎng)站整體接明顯提高用戶端TCP 協(xié)議的傳輸效率，設(shè)計(jì)和部署時(shí)同樣應(yīng)引起足夠的重視。顯著減少源服務(wù)器端的連接數(shù)量，極大地　

（作者單位為河北省教育考試院）

2010.6 中國(guó)教育網(wǎng)絡(luò)53（（