看了下日志，發(fā)現(xiàn)有幾條類(lèi)似這樣的：2010-07-27 16:03:33 W3SVC1129513256 221.192.135.26 GET /a/view/18691.html - 80 - 20

看了下日志，發(fā)現(xiàn)有幾條類(lèi)似這樣的：2010-07-27 16:03:33 W3SVC1129513256 221.192.135.26 GET /a/view/18691.html - 80 - 203.208.60.251 Mediapartners-Google 200 0 0Mediapartners-Google是什么，搜索一下，原來(lái)是Google Adsense的漫游器。

以下內(nèi)容來(lái)自 網(wǎng)站管理員支持中心 我希望網(wǎng)站的某些網(wǎng)頁(yè)不被編入索引，但要在這些頁(yè)上顯示 AdSense 廣告。能否滿(mǎn)足我的這一要求？ 可以。您可以在這些網(wǎng)頁(yè)上禁用 (Disallow) 除 Mediapartners-Google 之外的所有漫游器。這樣可確保不將網(wǎng)頁(yè)編入索引，但可讓 Googlebot-MediaPartners 漫游器分析這些網(wǎng)頁(yè)，以確定是否顯示廣告。Googlebot-MediaPartners 漫游器不與其他 Google 用戶(hù)代理共享網(wǎng)頁(yè)。例如，您可以使用下列條目：User-Agent:*Disallow:/folder1/User-Agent:MediaPartners-GoogleAllow:/folder1/如何攔截 Googlebot？ 攔截 GooglebotGoogle 使用多個(gè) user-agent。您可以在條目的 User-Agent 行中包含漫游器名稱(chēng)來(lái)攔截對(duì)網(wǎng)頁(yè)的訪問(wèn)。攔截 Googlebot 將會(huì)攔截所有以"Googlebot"開(kāi)頭的漫游器。Googlebot：從我們的網(wǎng)站索引和新聞索引中抓取網(wǎng)頁(yè) Googlebot-Mobile：針對(duì)我們的移動(dòng)索引抓取網(wǎng)頁(yè) Googlebot-Image：針對(duì)我們的圖片索引抓取網(wǎng)頁(yè) Mediapartners-Google：抓取網(wǎng)頁(yè)確定 AdSense 的內(nèi)容。只有在您的網(wǎng)站上展示 AdSense 廣告的情況下，我們才會(huì)使用此漫游器來(lái)抓取您的網(wǎng)站。 Adsbot-Google：抓取網(wǎng)頁(yè)來(lái)衡量 AdWords 目標(biāo)網(wǎng)頁(yè)的質(zhì)量。只有在您使用 AdWords 為您的網(wǎng)站做廣告的情況下，我們才會(huì)使用此漫游器。參閱關(guān)于此漫游器的更多信息以及如何在您的網(wǎng)站上執(zhí)行部分?jǐn)r截。 例如，要完全攔截 Googlebot，您可以使用下列語(yǔ)法：User-agent:Googlebot Disallow:/允許 Googlebot如果您要攔截除 Googlebot 以外的所有漫游器訪問(wèn)您的網(wǎng)頁(yè)，可以使用下列語(yǔ)法：User-agent:Disallow:/User-agent:GooglebotDisallow:Googlebot 跟隨指向它自己的行，而不是指向所有漫游器的行。"Allow"擴(kuò)展名Googlebot 可識(shí)別稱(chēng)為"Allow"的 robots.txt 標(biāo)準(zhǔn)擴(kuò)展名。其他搜索引擎的漫游器可能無(wú)法識(shí)別此擴(kuò)展名，因此請(qǐng)使用您感興趣的其他搜索引擎進(jìn)行查找。"Allow"行的作用原理完全與"Disallow"行一樣。只需列出您要允許的目錄或頁(yè)面即可。您也可以同時(shí)使用"Disallow"和"Allow"。例如，要攔截子目錄中某個(gè)頁(yè)面之外的其他所有頁(yè)面，可以使用下列條目：User-Agent:GooglebotDisallow:/folder1/Allow:/folder1/myfile.html這些條目將攔截 folder1 目錄內(nèi)除 myfile.html 之外的所有頁(yè)面。如果您要攔截 Googlebot 并允許 Google 的另一個(gè)漫游器（如 Googlebot-Mobile），可使用"Allow"規(guī)則允許該漫游器的訪問(wèn)。例如：User-agent:GooglebotDisallow:/User-agent:Googlebot-MobileAllow: