搜索引擎爬蟲在不知道域名的情況下如何搜索到網(wǎng)站？這個做不到吧？我們以在國內(nèi)最主要的百度爬蟲為例。你有一個新網(wǎng)站，你希望他來抓取你，需要先到百度站長平臺提交你的網(wǎng)站。這就要滿足一些要求，比如有域名，域名

搜索引擎爬蟲在不知道域名的情況下如何搜索到網(wǎng)站？

這個做不到吧？我們以在國內(nèi)最主要的百度爬蟲為例。你有一個新網(wǎng)站，你希望他來抓取你，需要先到百度站長平臺提交你的網(wǎng)站。這就要滿足一些要求，比如有域名，域名要完成備案。百度爬蟲通過多種維度對你的網(wǎng)站進行評級，來決定抓取的頻次，評級越高越會經(jīng)常來抓取你的網(wǎng)站。所以沒有域名沒有完成備案應(yīng)該是不滿足最基本的要求的。還有，那你現(xiàn)在只能用ip訪問網(wǎng)站唄，等以后有了域名，又改用域名訪問導(dǎo)致鏈接變化，這樣很不好會掉權(quán)重的。

Python爬鏈接爬蟲怎么寫？

首先我們要清晰一點是，所有的網(wǎng)頁我們能看到的不管是文字還是圖片還是動畫，都是以html標記的，然后瀏覽器把這些標記可視化的美觀的展示給我們，如果我們要做網(wǎng)絡(luò)爬蟲，那么我們的爬蟲是沒有視覺的，只有邏輯，在爬蟲眼里只有html標簽，其他的樣式在爬蟲眼里都是浮云，所以爬蟲其實就是讀取html標簽(這里涉及一個知識點就是要能得到html標簽，需要用到一個庫是request庫，通過網(wǎng)絡(luò)請求拿到html元素)，然后把html標簽中自己想要的東西給提取出來，這個就是一個網(wǎng)絡(luò)爬蟲了。 邏輯就這么簡單。 如果有python使用經(jīng)驗的，建議使用爬蟲框架scrapy