unresolved reference怎么解決？解決方案如下:進(jìn)入pycharm-settings-build，exclusion，deployment-console-python console

unresolved reference怎么解決？

解決方案如下:

進(jìn)入pycharm-settings-build，exclusion，deployment-console-python console，勾選Add source roots to PYTHONPATH單擊應(yīng)用和確定。

方法二。進(jìn)入py charm-設(shè)置-項(xiàng)目-項(xiàng)目結(jié)構(gòu)，右鍵一個(gè)目錄添加源碼；單擊應(yīng)用和確定。

python代碼敲好了如何運(yùn)行？

python代碼的工作原理如下:

首先，如果代碼是用pycharm寫(xiě)的，右鍵單擊，然后單擊run運(yùn)行。

第二，如果它 用jupyt

有python感受嗎，請(qǐng)問(wèn)像攜程網(wǎng)這種網(wǎng)站怎么爬?。?/h2>

清理了運(yùn)行Scrapy爬蟲(chóng)的bug后，現(xiàn)在可以開(kāi)始寫(xiě)爬蟲(chóng)邏輯了。在正式開(kāi)始爬蟲(chóng)編寫(xiě)之前，這里有四個(gè)小技巧可以幫助我們操縱和調(diào)試爬蟲(chóng)。

首先，直接在Pycharm下創(chuàng)建文件并調(diào)試。

很多時(shí)候，當(dāng)我們使用Scrapy crawler框架時(shí)，如果我們想運(yùn)行Scrapy crawler項(xiàng)目，我們通常會(huì)想到直接執(zhí)行命令 "scrapy爬行爬蟲(chóng)名稱(chēng) "在命令行中，其中crawler_name是指爬蟲(chóng)的名稱(chēng)，是當(dāng)初創(chuàng)建Scrapy爬蟲(chóng)模板時(shí)指定的，在爬蟲(chóng)項(xiàng)目中是唯一的。但是每次跑到命令行執(zhí)行，看到交互的結(jié)果，有時(shí)候不是很清楚，所以這里有一個(gè)方法，可以幫助你提高開(kāi)發(fā)效率，尤其是在調(diào)試的時(shí)候。

在與爬蟲(chóng)項(xiàng)目文件相同的目錄下創(chuàng)建一個(gè)文件，用來(lái)控制整個(gè)爬蟲(chóng)項(xiàng)目的執(zhí)行。

寫(xiě)在這個(gè)文件夾中的代碼如下所示。執(zhí)行功能嵌入在Scrapy中。調(diào)用該函數(shù)可以直接調(diào)用scrapy項(xiàng)目的爬蟲(chóng)腳本，該函數(shù)的執(zhí)行需要在爬蟲(chóng)項(xiàng)目的父目錄下進(jìn)行。第七行代碼的意思是獲取當(dāng)前py文件的父目錄，這樣可以節(jié)省我們直接復(fù)制路徑的精力和時(shí)間，也方便我們把項(xiàng)目放到其他平臺(tái)上運(yùn)行而不會(huì)報(bào)錯(cuò)路徑。執(zhí)行函數(shù)中的參數(shù)實(shí)際上了Scrapy crawler 的執(zhí)行命令，并將它們以一個(gè)字符的形式放入一個(gè)數(shù)組中。

之后我們可以直接運(yùn)行這個(gè)文件，調(diào)用Scrapy爬蟲(chóng)。

第二，用Debug來(lái)調(diào)試，提高開(kāi)發(fā)速度。

相信用過(guò)Pycharm的朋友都看過(guò)Debug。東東，意思是 "bug "在英文里，也是bug，像瓢蟲(chóng)，但是很多朋友可能沒(méi)用過(guò)。下面給大家簡(jiǎn)單介紹一下。希望你以后能多使用，這對(duì)項(xiàng)目的調(diào)試很有幫助。

在調(diào)試之前，我們需要打斷我們要調(diào)試的代碼左側(cè)的點(diǎn)。斷點(diǎn)一般是紅色的，斷點(diǎn)的很簡(jiǎn)單，只需點(diǎn)擊代碼左側(cè)的左鍵即可，如下圖所示。

設(shè)置斷點(diǎn)后，可以轉(zhuǎn)到文件進(jìn)行調(diào)試。右鍵單擊文件并選擇 "調(diào)試和測(cè)試。;主 "，如下圖所示。

之后爬蟲(chóng)會(huì)開(kāi)始調(diào)試并返回一系列結(jié)果，如下圖所示，可以方便的拖拽查看。同時(shí)，爬蟲(chóng)的結(jié)果會(huì)在爬蟲(chóng)文件中以綠色字體顯示，非常美觀。

如果您想退出或停止調(diào)試，單擊Pycharm上面的選項(xiàng)卡上的Run，然后單擊Stop 主 ，如下圖所示。

之后爬蟲(chóng)會(huì)退出調(diào)試，恢復(fù)正常的Pycharm界面，如下圖所示。

第三，將網(wǎng)站robots.txt規(guī)則設(shè)置為False。

一般來(lái)說(shuō)，在我們使用Scrapy框架來(lái)捕獲數(shù)據(jù)之前，我們需要提前進(jìn)入文件并修改 "服從真實(shí) "to robots txt _ observe False。

未更改文件中的默認(rèn)爬蟲(chóng)遵循網(wǎng)站的robots.txt規(guī)則，如下圖所示。

如果按照robots.txt的規(guī)則，抓取結(jié)果會(huì)自動(dòng)過(guò)濾掉很多我們想要的目標(biāo)信息，所以需要將這個(gè)參數(shù)設(shè)置為False，如下圖所示。

設(shè)置了robots.txt的規(guī)則后，我們就可以捕捉到更多的網(wǎng)頁(yè)信息了。

4.用Scrapy shell調(diào)試

通常，當(dāng)我們想運(yùn)行scrappy爬蟲(chóng)程序時(shí)，我們會(huì)輸入 "scrapy爬行爬蟲(chóng)名稱(chēng) "在命令行中。細(xì)心的朋友應(yīng)該知道，上一篇文章創(chuàng)建的文件也可以提高調(diào)試效率，但是兩種方法都需要從頭到尾運(yùn)行scrappy爬蟲(chóng)項(xiàng)目，每次都需要請(qǐng)求一個(gè)URL，效率非常低。所有運(yùn)行過(guò)Scrapy爬蟲(chóng)項(xiàng)目的朋友都知道Scrapy運(yùn)行相對(duì)較慢，有時(shí)根可以 因?yàn)榫W(wǎng)速不穩(wěn)定而無(wú)法移動(dòng)。針對(duì)每次運(yùn)行Scrapy爬蟲(chóng)的問(wèn)題，為大家介紹Scrapy shell的調(diào)試方法，可以事半功倍。

Scrapy為我們提供了一個(gè)shell模式，可以讓我們?cè)趕hell腳本下獲取整個(gè)URL的源代碼。在命令行上運(yùn)行它，它的語(yǔ)法命令是 "scrapy殼和URL "，URL是指你需要抓取的網(wǎng)址或鏈接，如下圖所示。

這個(gè)命令意味著調(diào)試URL。命令執(zhí)行后，我們已經(jīng)獲取了URL對(duì)應(yīng)的網(wǎng)頁(yè)內(nèi)容，然后就可以在shell下調(diào)試了，所以我們不 不要每次啟動(dòng)URL請(qǐng)求都執(zhí)行無(wú)用的爬蟲(chóng)。

通過(guò)shell腳本可以大大提高調(diào)試的效率，具體調(diào)試方法與爬蟲(chóng)主文件中的表達(dá)式語(yǔ)法一致。舉個(gè)栗子，如下圖。

通過(guò)將兩個(gè)Xpath表達(dá)式對(duì)應(yīng)的選擇器放入scrapy shell調(diào)試的腳本中，可以清晰的看到提取的目標(biāo)信息，省去了每次運(yùn)行scrapy爬蟲(chóng)的重復(fù)步驟，提高了開(kāi)發(fā)效率。這種方法在Scrapy爬蟲(chóng)的過(guò)程中很常見(jiàn)，也很實(shí)用。希望各位朋友都能掌握，并積極為自己所用。

讓 s先在這里分享一些Scrapy爬蟲(chóng)項(xiàng)目的操作和調(diào)試技巧，尤其是調(diào)試和Scrapy shell調(diào)試。希望朋友們多多利用，讓他們?yōu)樽约旱捻?xiàng)目服務(wù)，可以事半功倍~

原始鏈接:

原始鏈接: