HTTP協(xié)議
引言HTTP 是一個屬于應用層的面向?qū)ο蟮膮f(xié)議,由于其簡捷、快速的方式,適用于分布式超媒體信息系統(tǒng)。它于1990年提出,經(jīng)過幾年的使用與發(fā)展,得到不斷地完善和擴展。目前在WWW 中使用的是HTTP/1
引言
HTTP 是一個屬于應用層的面向?qū)ο蟮膮f(xié)議,由于其簡捷、快速的方式,適用于分布式超媒體信息系統(tǒng)。它于1990年提出,經(jīng)過幾年的使用與發(fā)展,得到不斷地完善和擴展。目前在WWW 中使用的是HTTP/1.0的第六版,HTTP/1.1的規(guī)范化工作正在進行之中,而且HTTP-NG(Next Generation of HTTP) 的建議已經(jīng)提出。 HTTP 協(xié)議的主要特點可概括如下:
1. 支持客戶/服務器模式。
2. 簡單快速:客戶向服務器請求服務時,只需傳送請求方法和路徑。請求方法常用的有GET 、HEAD 、POST 。每種方法規(guī)定了客戶與服務器聯(lián)系的類型不同。由于HTTP 協(xié)議簡單,使得HTTP 服務器的程序規(guī)模小,因而通信速度很快。
3. 靈活:HTTP 允許傳輸任意類型的數(shù)據(jù)對象。正在傳輸?shù)念愋陀蒀ontent-Type 加以標記。
4. 無連接:無連接的含義是限制每次連接只處理一個請求。服務器處理完客戶的請求,并收到客戶的應答后,即斷開連接。采用這種方式可以節(jié)省傳輸時間。
5. 無狀態(tài):HTTP 協(xié)議是無狀態(tài)協(xié)議。無狀態(tài)是指協(xié)議對于事務處理沒有記憶能力。缺少狀態(tài)意味著如果后續(xù)處理需要前面的信息,則它必須重傳,這樣可能導致每次連接傳送的數(shù)據(jù)量增大。另一方面,在服務器不需要先前信息時它的應答就較快。
一、HTTP 協(xié)議詳解之URL 篇
HTTP URL (URL是一種特殊類型的URI ,包含了用于查找某個資源的足夠的信息) 的格式如下: http://host[":"port][abs_path]
,地址;port 指定一個端口號,為空則使用缺省端口80;abs_path指定請求資源的URI ;如果URL 中沒有給出abs_path,那么當它作為請求URI 時,必須以“/”的形式給出,通常這個工作瀏覽器自動幫我們完成。
eg:
1、輸入:www.guet.edu.cn
瀏覽器自動轉(zhuǎn)換成:http://www.guet.edu.cn/
2、http:192.168.0.116:8080/index.jsp
二、HTTP 協(xié)議詳解之請求篇
1、請求行以一個方法符號開頭,以空格分開,后面跟著請求的URI 和協(xié)議的版本,格式如下:Method Request-URI HTTP-Version CRLF
其中 Method表示請求方法;Request-URI 是一個統(tǒng)一資源標識符;HTTP-Version 表示請求的HTTP 協(xié)議版本;CRLF 表示回車和換行(除了作為結尾的CRLF 外,不允許出現(xiàn)單獨的CR 或LF 字符)。
請求方法(所有方法全為大寫)有多種,各個方法的解釋如下:
GET 請求獲取Request-URI 所標識的資源
POST 在Request-URI 所標識的資源后附加新的數(shù)據(jù)
HEAD 請求獲取由Request-URI 所標識的資源的響應消息報頭
PUT 請求服務器存儲一個資源,并用Request-URI 作為其標識
DELETE 請求服務器刪除Request-URI 所標識的資源
TRACE 請求服務器回送收到的請求信息,主要用于測試或診斷
CONNECT 保留將來使用
OPTIONS 請求查詢服務器的性能,或者查詢與資源相關的選項和需求
應用舉例:
,GET 方法:在瀏覽器的地址欄中輸入網(wǎng)址的方式訪問網(wǎng)頁時,瀏覽器采用GET 方法向服務器獲取資源,eg:GET /form.html HTTP/1.1 (CRLF)
POST 方法要求被請求服務器接受附在請求后面的數(shù)據(jù),常用于提交表單。
eg :POST /reg.jsp HTTP/ (CRLF)
Accept:image/gif,image/x-xbit,... (CRLF)
...
HOST:www.guet.edu.cn (CRLF)
Content-Length:22 (CRLF)
Connection:Keep-Alive (CRLF)
Cache-Control:no-cache (CRLF)
(CRLF) //該CRLF 表示消息報頭已經(jīng)結束,在此之前為消息報頭
user=jeffrey&pwd=1234 //此行以下為提交的數(shù)據(jù)
HEAD 方法與GET 方法幾乎是一樣的,對于HEAD 請求的回應部分來說,它的HTTP 頭部中包含的信息與通過GET 請求所得到的信息是相同的。利用這個方法,不必傳輸整個資源內(nèi)容,就可以得到Request-URI 所標識的資源的信息。該方法常用于測試超鏈接的有效性,是否可以訪問,以及最近是否更新。
2、請求報頭后述
3、請求正文(略)
三、HTTP 協(xié)議詳解之響應篇
在接收和解釋請求消息后,服務器返回一個HTTP 響應消息。
HTTP 響應也是由三個部分組成,分別是:狀態(tài)行、消息報頭、響應正文
1、狀態(tài)行格式如下:
HTTP-Version Status-Code Reason-Phrase CRLF
,其中,HTTP-Version 表示服務器HTTP 協(xié)議的版本;Status-Code 表示服務器發(fā)回的響應狀態(tài)代碼;Reason-Phrase 表示狀態(tài)代碼的文本描述。
狀態(tài)代碼有三位數(shù)字組成,第一個數(shù)字定義了響應的類別,且有五種可能取值: 1xx :指示信息--表示請求已接收,繼續(xù)處理
2xx :成功--表示請求已被成功接收、理解、接受
3xx :重定向--要完成請求必須進行更進一步的操作
4xx :客戶端錯誤--請求有語法錯誤或請求無法實現(xiàn)
5xx :服務器端錯誤--服務器未能實現(xiàn)合法的請求
常見狀態(tài)代碼、狀態(tài)描述、說明:
200 OK //客戶端請求成功
400 Bad Request //客戶端請求有語法錯誤,不能被服務器所理解
401 Unauthorized //請求未經(jīng)授權,這個狀態(tài)代碼必須和WWW-Authenticate 報頭域一起使用
403 Forbidden //服務器收到請求,但是拒絕提供服務
404 Not Found //請求資源不存在,eg :輸入了錯誤的URL
500 Internal Server Error //服務器發(fā)生不可預期的錯誤
503 Server Unavailable //服務器當前不能處理客戶端的請求,一段時間后可能恢復正常 eg :HTTP/1.1 200 OK (CRLF )
2、響應報頭后述
3、響應正文就是服務器返回的資源的內(nèi)容
四、HTTP 協(xié)議詳解之消息報頭篇
HTTP消息由客戶端到服務器的請求和服務器到客戶端的響應組成。請求消息和響應消息都是由開始行(對于請求消息,開始行就是請求行,對于響應消息,開始行就是狀態(tài)行),消息報頭(可選),空行(只有CRLF 的行),消息正文(可選)組成。
HTTP 消息報頭包括普通報頭、請求報頭、響應報頭、實體報頭。
,每一個報頭域都是由名字 “:” 空格 值 組成,消息報頭域的名字是大小寫無關的。
1、普通報頭
在普通報頭中,有少數(shù)報頭域用于所有的請求和響應消息,但并不用于被傳輸?shù)膶嶓w,只用于傳輸?shù)南ⅰ?/p>
eg :
Cache-Control 用于指定緩存指令,緩存指令是單向的(響應中出現(xiàn)的緩存指令在請求中未必會出現(xiàn)),且是獨立的(一個消息的緩存指令不會影響另一個消息處理的緩存機制),HTTP1.0使用的類似的報頭域為Pragma 。
請求時的緩存指令包括:no-cache (用于指示請求或響應消息不能緩存)、no-store 、max-age 、max-stale 、min-fresh 、only-if-cached;
響應時的緩存指令包括:public 、private 、no-cache 、no-store 、no-transform 、must-ridate 、proxy-ridate 、max-age 、s-maxage.
eg :為了指示IE 瀏覽器(客戶端)不要緩存頁面,服務器端的JSP 程序可以編寫如下:response.sehHeader("Cache-Control","no-cache");
//response.setHeader("Pragma","no-cache");作用相當于上述代碼,通常兩者//合用 這句代碼將在發(fā)送的響應消息中設置普通報頭域:Cache-Control:no-cache
Date 普通報頭域表示消息產(chǎn)生的日期和時間
Connection 普通報頭域允許發(fā)送指定連接的選項。例如指定連接是連續(xù),或者指定“close ”選項,通知服務器,在響應完成后,關閉連接
2、請求報頭
請求報頭允許客戶端向服務器端傳遞請求的附加信息以及客戶端自身的信息。
常用的請求報頭
Accept
Accept 請求報頭域用于指定客戶端接受哪些類型的信息。eg :Accept :image/gif,表明客戶端希望接受GIF 圖象格式的資源;Accept :text/html,表明客戶端希望接受html 文本。 Accept-Charset
,Accept-Charset 請求報頭域用于指定客戶端接受的字符集。eg :Accept-Charset:iso-8859-1,gb2312.如果在請求消息中沒有設置這個域,缺省是任何字符集都可以接受。
Accept-Encoding
Accept-Encoding 請求報頭域類似于Accept ,但是它是用于指定可接受的內(nèi)容編碼。eg :Accept-Encoding:gzip.deflate.如果請求消息中沒有設置這個域服務器假定客戶端對各種內(nèi)容編碼都可以接受。
Accept-Language
Accept-Language 請求報頭域類似于Accept ,但是它是用于指定一種自然語言。eg :Accept-Language:zh-cn.如果請求消息中沒有設置這個報頭域,服務器假定客戶端對各種語言都可以接受。
Authorization
Authorization 請求報頭域主要用于證明客戶端有權查看某個資源。當瀏覽器訪問一個頁面時,如果收到服務器的響應代碼為401(未授權),可以發(fā)送一個包含Authorization 請求報頭域的請求,要求服務器對其進行驗證。
Host (發(fā)送請求時,該報頭域是必需的)
Host 請求報頭域主要用于指定被請求資源的Internet 主機和端口號,它通常從HTTP URL中提取出來的,eg :
我們在瀏覽器中輸入:http://www.guet.edu.cn/index.html
瀏覽器發(fā)送的請求消息中,就會包含Host 請求報頭域,如下:
Host :www.guet.edu.cn
此處使用缺省端口號80,若指定了端口號,則變成:Host :www.guet.edu.cn:指定端口號 User-Agent
我們上網(wǎng)登陸論壇的時候,往往會看到一些歡迎信息,其中列出了你的操作系統(tǒng)的名稱和版本,你所使用的瀏覽器的名稱和版本,這往往讓很多人感到很神奇,實際上,服務器應用程序就是從User-Agent 這個請求報頭域中獲取到這些信息。User-Agent 請求報頭域允許客戶端將它的操作系統(tǒng)、瀏覽器和其它屬性告訴服務器。不過,這個報頭域不是必需的,如果我們自己編寫一個瀏覽器,不使用User-Agent 請求報頭域,那么服務器端就無法得知我們的信息了。
請求報頭舉例:
,GET /form.html HTTP/1.1 (CRLF)
Accept:image/gif,image/x-xbitmap,image/jpeg,application/x-shockwave-flash,application/vnd.ms-excel,application/vnd.ms-powerpoint,application/msword,* open www.guet.edu.cn 80
GET /index.asp HTTP/1.0 //請求資源的內(nèi)容
Host:www.guet.edu.cn
2.2 open www.sina.com.cn 80 //在命令提示符號下直接輸入telnet www.sina.com.cn 80 HEAD /index.asp HTTP/1.0
Host:www.sina.com.cn
3 實驗結果:
3.1 請求信息2.1得到的響應是:
HTTP/1.1 200 OK //請求成功
Server: Microsoft-IIS/5.0 //web服務器
Date: Thu,08 Mar 200707:17:51 GMT
Connection: Keep-Alive
Content-Length: 23330
Content-Type: text/html
Expries: Thu,08 Mar 2007 07:16:51 GMT
Set-Cookie: ASPSESSIONIDQAQBQQQB=BEJCDGKADEDJKLKKAJEOIMMH; path=/
Cache-control: private
//資源內(nèi)容省略
3.2 請求信息2.2得到的響應是:
HTTP/1.0 404 Not Found //請求失敗
,Date: Thu, 08 Mar 2007 07:50:50 GMT
Server: Apache/2.0.54
Last-Modified: Thu, 30 Nov 2006 11:35:41 GMT
ETag: "6277a-415-e7c76980"
Accept-Ranges: bytes
X-Powered-By: mod_xlayout_jh/0.0.1vhs.markII.remix
Vary: Accept-Encoding
Content-Type: text/html
X-Cache: MISS from zjm152-78.sina.com.cn
Via: 1.0 zjm152-78.sina.com.cn:80
X-Cache: MISS from th-143.sina.com.cn
Connection: close
失去了跟主機的連接
按任意鍵繼續(xù)...
4 .注意事項:1、出現(xiàn)輸入錯誤,則請求不會成功。
2、報頭域不分大小寫。
3、更深一步了解HTTP 協(xié)議,可以查看RFC2616,在http://www.ietf.org/rfc上找到該文件。
4、開發(fā)后臺程序必須掌握http 協(xié)議
六、HTTP 協(xié)議相關技術補充
1、基礎:
高層協(xié)議有:文件傳輸協(xié)議FTP 、電子郵件傳輸協(xié)議SMTP 、域名系統(tǒng)服務DNS 、網(wǎng)絡新聞傳輸協(xié)議NNTP 和HTTP 協(xié)議等
中介由三種:代理(Proxy)、網(wǎng)關(Gateway)和通道(Tunnel),一個代理根據(jù)URI 的絕對格式來接受請求,重寫全部或部分消息,通過 URI的標識把已格式化過的請求發(fā)送到服務器。網(wǎng)關是一個接收代理,作為一些其它服務器的上層,并且如果必須的話,可以把請求翻譯給
,下層的服務器協(xié)議。一個通道作為不改變消息的兩個連接之間的中繼點。當通訊需要通過一個中介(例如:防火墻等) 或者是中介不能識別消息的內(nèi)容時,通道經(jīng)常被使用。
代理(Proxy):一個中間程序,它可以充當一個服務器,也可以充當一個客戶機,為其它客戶機建立請求。請求是通過可能的翻譯在內(nèi)部或經(jīng)過傳遞到其它的服務器中。一個代理在發(fā)送請求信息之前,必須解釋并且如果可能重寫它。代理經(jīng)常作為通過防火墻的客戶機端的門戶,代理還可以作為一個幫助應用來通過協(xié)議處理沒有被用戶代理完成的請求。
網(wǎng)關(Gateway):一個作為其它服務器中間媒介的服務器。與代理不同的是,網(wǎng)關接受請求就好象對被請求的資源來說它就是源服務器;發(fā)出請求的客戶機并沒有意識到它在同網(wǎng)關打交道。
網(wǎng)關經(jīng)常作為通過防火墻的服務器端的門戶,網(wǎng)關還可以作為一個協(xié)議翻譯器以便存取那些存儲在非HTTP 系統(tǒng)中的資源。
通道(Tunnel):是作為兩個連接中繼的中介程序。一旦激活,通道便被認為不屬于HTTP 通訊,盡管通道可能是被一個HTTP 請求初始化的。當被中繼的連接兩端關閉時,通道便消失。當一個門戶(Portal)必須存在或中介(Intermediary)不能解釋中繼的通訊時通道被經(jīng)常使用。
2、協(xié)議分析的優(yōu)勢—HTTP 分析器檢測網(wǎng)絡攻擊
以模塊化的方式對高層協(xié)議進行分析處理,將是未來入侵檢測的方向。
HTTP 及其代理的常用端口80、3128和8080在network 部分用port 標簽進行了規(guī)定
3、HTTP 協(xié)議Content Lenth限制漏洞導致拒絕服務攻擊
使用POST 方法時,可以設置ContentLenth 來定義需要傳送的數(shù)據(jù)長度,例如ContentLenth:999999999,在傳送完成前,內(nèi)存不會釋放,攻擊者可以利用這個缺陷,連續(xù)向WEB 服務器發(fā)送垃圾數(shù)據(jù)直至WEB 服務器內(nèi)存耗盡。這種攻擊方法基本不會留下痕跡。 http://www.cnpaf.net/Class/HTTP/0532918532667330.html
4、利用HTTP 協(xié)議的特性進行拒絕服務攻擊的一些構思
服務器端忙于處理攻擊者偽造的TCP 連接請求而無暇理睬客戶的正常請求(畢竟客戶端的正常請求比率非常之?。?,此時從正??蛻舻慕嵌瓤磥恚掌魇ロ憫?,這種情況我們稱作:服務器端受到了SYNFlood 攻擊(SYN 洪水攻擊)。
,而Smurf 、TearDrop 等是利用ICMP 報文來Flood 和IP 碎片攻擊的。本文用“正常連接”的方法來產(chǎn)生拒絕服務攻擊。
19端口在早期已經(jīng)有人用來做Chargen 攻擊了,即Chargen_Denial_of_Service,但是!他們用的方法是在兩臺Chargen 服務器之間產(chǎn)生UDP 連接,讓服務器處理過多信息而DOWN 掉,那么,干掉一臺WEB 服務器的條件就必須有2個:1. 有Chargen 服務2. 有HTTP 服務
方法:攻擊者偽造源IP 給N 臺Chargen 發(fā)送連接請求(Connect ),Chargen 接收到連接后就會返回每秒72字節(jié)的字符流(實際上根據(jù)網(wǎng)絡實際情況,這個速度更快)給服務器。
5、Http 指紋識別技術
Http指紋識別的原理大致上也是相同的:記錄不同服務器對Http 協(xié)議執(zhí)行中的微小差別進行識別.Http 指紋識別比TCP/IP堆棧指紋識別復雜許多, 理由是定制Http 服務器的配置文件、增加插件或組件使得更改Http 的響應信息變的很容易, 這樣使得識別變的困難;然而定制TCP/IP堆棧的行為需要對核心層進行修改, 所以就容易識別.
要讓服務器返回不同的Banner 信息的設置是很簡單的, 象Apache 這樣的開放源代碼的Http 服務器, 用戶可以在源代碼里修改Banner 信息, 然后重起Http 服務就生效了;對于沒有公開源代碼的Http 服務器比如微軟的IIS 或者是Netscape, 可以在存放Banner 信息的Dll 文件中修改, 相關的文章有討論的, 這里不再贅述, 當然這樣的修改的效果還是不錯的. 另外一種模糊Banner 信息的方法是使用插件。
常用測試請求:
1:HEAD/Http/1.0發(fā)送基本的Http 請求
2:DELETE/Http/1.0發(fā)送那些不被允許的請求, 比如Delete 請求
3:GET/Http/3.0發(fā)送一個非法版本的Http 協(xié)議請求
4:GET/JUNK/1.0發(fā)送一個不正確規(guī)格的Http 協(xié)議請求
Http 指紋識別工具Httprint, 它通過運用統(tǒng)計學原理, 組合模糊的邏輯學技術, 能很有效的確定Http 服務器的類型. 它可以被用來收集和分析不同Http 服務器產(chǎn)生的簽名。
6、其他:為了提高用戶使用瀏覽器時的性能,現(xiàn)代瀏覽器還支持并發(fā)的訪問方式,瀏覽一個網(wǎng)頁時同時建立多個連接,以迅速獲得一個網(wǎng)頁上的多個圖標,這樣能更快速完成整個網(wǎng)頁的傳輸。
HTTP1.1中提供了這種持續(xù)連接的方式,而下一代HTTP 協(xié)議:HTTP-NG 更增加了有關會話控