attributeerror怎么解決 python爬蟲(chóng)一直報(bào)錯(cuò)，怎么辦？
python爬蟲(chóng)一直報(bào)錯(cuò)，怎么辦？python爬蟲(chóng)始終運(yùn)行錯(cuò)誤，真不知道是在用框架我還是自己利用request寫(xiě)的。個(gè)人的經(jīng)驗(yàn)是碰到錯(cuò)誤，依據(jù)什么錯(cuò)誤`的總是顯示做相對(duì)應(yīng)的修改，下面是我在做爬蟲(chóng)是見(jiàn)到
python爬蟲(chóng)一直報(bào)錯(cuò)，怎么辦？
python爬蟲(chóng)始終運(yùn)行錯(cuò)誤，真不知道是在用框架我還是自己利用request寫(xiě)的。個(gè)人的經(jīng)驗(yàn)是碰到錯(cuò)誤，依據(jù)什么錯(cuò)誤`的總是顯示做相對(duì)應(yīng)的修改，下面是我在做爬蟲(chóng)是見(jiàn)到過(guò)的幾種錯(cuò)誤，分享給大家。
提取頁(yè)面數(shù)據(jù)時(shí)，數(shù)字越界之類的提醒在我們用來(lái)xpath提取數(shù)據(jù)的時(shí)候，從來(lái)不會(huì)碰到過(guò)界的提示，這里歸結(jié)到為一句話是對(duì)頁(yè)面的html結(jié)構(gòu)了解的太差，對(duì)xpath的語(yǔ)法掌握的夠。諸如xpath(./a/text())和xpath(/a/text())表達(dá)的意思是不一樣的。
頁(yè)面的問(wèn)題，如果沒(méi)有只是其它的頁(yè)面，你真接用url帶或者的參數(shù)正在發(fā)送各位，對(duì)方服務(wù)器就可以發(fā)令我們每天都出現(xiàn)一個(gè)爬蟲(chóng)爬某些頁(yè)面的時(shí)候正常嗎工作，爬其它的頁(yè)面的時(shí)候頁(yè)面內(nèi)容爬取不過(guò)來(lái)，為么？因?yàn)閏ookie，為了安全的考慮，現(xiàn)在的頁(yè)面都會(huì)在本地存儲(chǔ)一些cookie，在用戶下次訪問(wèn)的時(shí)候真接參照cookie來(lái)可以確定是否是要登錄之類的。此時(shí)此刻，必須我們也偽裝成之前登錄過(guò)訪問(wèn)網(wǎng)絡(luò)過(guò)的樣子，所以，需要在正常了的請(qǐng)求基礎(chǔ)上直接添加上一些頭部信息之類的。
robots.txt，爬蟲(chóng)應(yīng)該要再注意爬取網(wǎng)站的robots.txt文件，那些域名是愿意爬取的，那些域名下是不允許的在我們用來(lái)scrapy等爬蟲(chóng)框架爬取的時(shí)候，要注意這些，默認(rèn)情況下django是嚴(yán)格遵守這些協(xié)議的。所以，是需要我們?cè)谠O(shè)置中文件里將此項(xiàng)設(shè)置里為false，那樣就可以不受robots的約束。
肯定，問(wèn)題何止上面例舉的幾個(gè)問(wèn)題，也有很多其它。總的說(shuō)來(lái)，出現(xiàn)了問(wèn)題通過(guò)百度搜索都可以解決我們可以解決掉，因此接觸問(wèn)題多搜，搜索后多看，多研究。問(wèn)題也變會(huì)解決掉。關(guān)鍵是要只要用心去冷冰冰的態(tài)度問(wèn)題。
如何設(shè)計(jì)一個(gè)全局異常處理器？
簡(jiǎn)單樓主普通機(jī)電設(shè)備于.NET
的新因此就寫(xiě)個(gè).NET
的全局無(wú)比處理器，哪MVC來(lái)說(shuō)
1,建立MyExecptionAttribute.cs類，寫(xiě)入到不勝感激代碼：
usingSystem
using
using
usingSystem.Web
using
namespace
{
publicclassMyExecptionAttribute:HandleErrorAttribute
{
publicstaticQueueltExceptiongt ExceptionQueue new QueueltExceptiongt()//創(chuàng)建隊(duì)列.
privateoverridevoidOnException(ExceptionContextfilterContext)
{
//將異常信息入隊(duì).
ExceptionQueue.Enqueue(filterContext.Exception)//將極其信息入隊(duì).
()
(filterContext)
}
}
}
2，在Global文件代碼:：
usingNiunan.Utility
usingSystem
using
using
using
usingSystem.Web
using
using
using
namespace
{
//再注意:或者重新設(shè)置IIS6或IIS7最經(jīng)典模式的說(shuō)明，
//請(qǐng)不能訪問(wèn)
privateclassMvcApplication:
{
protectedvoidApplication_Start()
{
()
()
()
(future())//NET4建立起的項(xiàng)目的話則是在APP_Stars/ConfigFilter.cs中
//是從線程自動(dòng)打開(kāi)一個(gè)線程，后再不停的從隊(duì)列中或數(shù)據(jù)
stringfilePath(/Log/)
ThreadPool.QueueUserWorkItem(oa8
{
while(true)
{
try
{
if(a80)
{
Exceptionex()//從隊(duì)列中掏出數(shù)據(jù)
if(ex!null)
{
Tool.TxtLog((),filePath(yyyyMMdd).txt)
}
exists
{
(30)
}
}
exists
{
(30)//避免了CPU空轉(zhuǎn)。
}
}
catch(Exceptionex)
{
(ex)
}
}
},filePath)
}
}
}