IIS網(wǎng)站日志詳解
網(wǎng)站日志詳解說明各大搜索引擎的蜘蛛名稱百度(Baidu ) 爬蟲名稱(Baiduspider )谷歌(Google )爬蟲名稱(Googlebot )雅虎(Yahoo ) 爬蟲名稱(Yahoo Slu
網(wǎng)站日志詳解說明
各大搜索引擎的蜘蛛名稱
百度(Baidu ) 爬蟲名稱(Baiduspider )
谷歌(Google )爬蟲名稱(Googlebot )
雅虎(Yahoo ) 爬蟲名稱(Yahoo Slurp)
有道(Yodao ) 蜘蛛名稱(YodaoBot )
搜狗(sogou ) 蜘蛛名稱(sogou spider)
MSN 的蜘蛛名稱:msnbot
常用返回數(shù)字代碼的意義
2XX 成功;3XX 重定向;4XX 客戶機中出現(xiàn)錯誤;5XX 服務器出錯 200 正常;請求已完成
304 很久未更新文章
404 死鏈接
500 服務器出現(xiàn)錯誤
503 服務器沒有運行
百度IP 解釋
查詢蜘蛛是否為百度蜘蛛的方法:
開始——運行——cmd ——nslookup 【ip 】——看最后的name 名稱來進行判斷
123.125.71.*這個百度蜘蛛為考察期的百度蜘蛛。如果你是新站,很正常。任何一個新戰(zhàn)訪問的百度蜘蛛都是123開頭的,所以你不必擔心,只要你好好檢查你的原創(chuàng)內(nèi)容,并且不要隨便更改網(wǎng)站的架構,相信很快就能脫離百度考察期,我們平時常說的百度沙盒。如果隨便改網(wǎng)站的架構,你的考察期可能會拖長很長時間,因為百度蜘蛛也不知道你結構究竟什么時候能確定,最主要就是為了確定你到底要給用戶一個什么樣的體驗。用戶體驗很重要。 如果你是老站,那就太危險了。一般來說,你如果是老站的話,并且曾經(jīng)日志中是220開頭的,這個時候如果百度蜘蛛訪問的ip 變成了123.125.71.*這個ip 段,那就需要非常謹慎了,你需要看看你近段時間是不是采集了大量的文章,如果是,需要盡快的刪除,并且更新大量的原創(chuàng)文章。是不是你的網(wǎng)站結構變了,這個也是有很大的影響,如果架構變了,就有可能被當做新站處理。還有一點就是是否作弊了。
網(wǎng)站來訪蜘蛛IP 段屬于123.125.71.*段,查詢了大量關于蜘蛛的資料與相關的說明之后,發(fā)現(xiàn)此蜘蛛并不能說明屬于降權蜘蛛,但是可以確定的是絕對不是正常蜘蛛,是說明網(wǎng)站進入了考察期,也可以認為是我們常說的沙盒。
代碼基礎說明
date time s-ip cs-method cs-uri-stem cs-uri-query s-port cs-username c-ip cs(User-Agent)
,例子說明
#Fields: date time s-sitename s-ip cs-method cs-uri-stem cs-uri-query s-port cs-username c-ip cs(User-Agent) sc-status sc-substatus sc-win32-status
這是日志每行中每個字段的名稱, 我們看到的"200 0 64"是最后3個, 那就是
sc-status sc-substatus sc-win32-status 這三個了, 來看看這三個是什么東西:
sc-status:
HTTP 協(xié)議的狀態(tài).HTTP 協(xié)議的狀態(tài)代碼為200, 這個可能大家不熟悉, 但是,HTTP404找不到文件,HTTP500內(nèi)部服務器錯誤, 這兩個狀態(tài)代碼大家應該很熟悉了吧? 不錯, 這個200, 其實就是這個的一種,HTTP200就是文件被正常的訪問了, 只有這個數(shù)字是200以外的數(shù)字, 才說明訪問出現(xiàn)了錯誤(比如上面說的 404文件找不到等).
sc-substatus:
HTTP 子協(xié)議的狀態(tài). 一般來說網(wǎng)站都是不使用子協(xié)議的, 所以這個代碼為0就是很正常的, 我們完全可以不用管它.
sc-win32-status:
Win32狀態(tài). 這只是表示客戶端是否為32位系統(tǒng)的代碼. 如果被32位的系統(tǒng)訪問, 那么這里記錄的就是0, 如果被64位系統(tǒng)訪問, 那么這里記錄的就是64……
例子:
2013-03-14 01:26:16 222.73.68.111 GET /Product/327313.html - 80 - 123.125.71.38 Mozilla/5.0 (compatible; Baiduspider/2.0; http://www.baidu.com/search/spider.html) - 200 0 0 3681
這個就意味著:百度蜘蛛在2013-03-14 01:26:16爬過/Product/327313.html 這個頁面,發(fā)現(xiàn)這頁是新的,并全部爬完。
,sc-status(協(xié)議狀態(tài)) : 200 連接成功
sc-substatus(協(xié)議子狀態(tài)) :0 成功
更多SEO 知識可訪問:http://www.xiaoman1.com/ 聯(lián)系QQ :591981077