scrapy在爬網(wǎng)頁的時候是自動采用多線程的嗎？[scrapy是自動多線程的]Scrapy帶有一個扭曲的線程池，默認是10個線程。您可以通過修改設置文件中REACTOR_THREADPOOL_MAXS

scrapy在爬網(wǎng)頁的時候是自動采用多線程的嗎？

[scrapy是自動多線程的]

Scrapy帶有一個扭曲的線程池，默認是10個線程。您可以通過修改設置文件中REACTOR_THREADPOOL_MAXSIZE的配置來修改線程池的數(shù)量。比如調(diào)整到20，它的效率就會提高。

[scrapy提高性能]

1.增加并發(fā)性。scrapy中的默認并發(fā)數(shù)是32。您還可以通過修改設置文件中的CONCURRENT_REQUESTS參數(shù)來增加并發(fā)性。

2.增加線程池的數(shù)量，如上所述，不再贅述；

3.降低日志級別，增加設置文件中LOG_LEVEL參數(shù)的設置，如WARNING。

或INFO，以減少因日志過多而導致的CPU過度占用；

4.禁止重試，R

硬盤檢測問題，本人用MHDD檢測完后，在右下角有三個提示，都是Warning是什么意思，是硬盤有壞道嗎？

....

500毫秒

以上是面試時間，質(zhì)量越小越好。

跳過超時時間

X UNC錯誤無法更正。

！ABRT命令異常退出。

找不到S IDNF(扇區(qū))ID。

找不到AMNF(扇區(qū))地址掩碼。

找不到0軌道。

* BBK邏輯塊損壞。

警告: ;衰老跡象的磁場

如果你能在保證期內(nèi)更換它，我不介意。;我認為它不會為你而改變。能在保障之外用就用吧。