如何使用爬蟲監(jiān)控一系列網(wǎng)站的更新情況？您的監(jiān)視器肯定會(huì)指定數(shù)據(jù)。不可能說頁面日期會(huì)被更新首先為網(wǎng)站的目標(biāo)數(shù)據(jù)編寫爬蟲程序并存儲(chǔ)，然后定期爬網(wǎng)。每次爬網(wǎng)時(shí)，都可以進(jìn)行符號比較，比如第一條消息的文本或鏈接

如何使用爬蟲監(jiān)控一系列網(wǎng)站的更新情況？

您的監(jiān)視器肯定會(huì)指定數(shù)據(jù)。不可能說頁面日期會(huì)被更新

首先為網(wǎng)站的目標(biāo)數(shù)據(jù)編寫爬蟲程序并存儲(chǔ)，然后定期爬網(wǎng)。每次爬網(wǎng)時(shí)，都可以進(jìn)行符號比較，比如第一條消息的文本或鏈接地址

當(dāng)你打開網(wǎng)頁時(shí)，狀態(tài)碼是200，刷新時(shí)狀態(tài)碼會(huì)變?yōu)?04

但是如果你經(jīng)常爬網(wǎng)，響應(yīng)碼應(yīng)該總是200

已經(jīng)做過幾次大規(guī)模服務(wù)器了監(jiān)控方面，下面推薦幾種監(jiān)控軟件和輔助軟件。

1. ZABBIX是一個(gè)古老的經(jīng)典監(jiān)控軟件。它是一種企業(yè)級分布式開源監(jiān)控方案。它可以實(shí)時(shí)監(jiān)控從數(shù)千臺(tái)服務(wù)器、虛擬機(jī)和網(wǎng)絡(luò)設(shè)備收集的數(shù)百萬個(gè)指標(biāo)。

提供圖形操作界面，可以輕松添加監(jiān)控指示燈和報(bào)警指示燈。支持郵件、微信等提醒通知

2。普羅米修斯是近年來最流行的監(jiān)控系統(tǒng)。Prometheus是Soundcloud開發(fā)的開源監(jiān)控報(bào)警系統(tǒng)和時(shí)間序列數(shù)據(jù)庫（TSDB）。用go語言開發(fā)的Prometheus是googleborgmon監(jiān)控系統(tǒng)的開源版本。

其優(yōu)點(diǎn)是重量輕、配置簡單、使用方便、報(bào)警模板豐富。

以上是兩種監(jiān)控軟件，以下是一些輔助監(jiān)控軟件。

1. Grafana監(jiān)控顯示界面，在我們得到監(jiān)控?cái)?shù)據(jù)后，我們可能需要將數(shù)據(jù)顯示給領(lǐng)導(dǎo)。Grafana就是這樣一個(gè)軟件，開源，免費(fèi)，模板豐富。它可以直接與ZABBIX Prometheus和MySQL數(shù)據(jù)庫連接。

2. 釘子機(jī)器人。如何處理服務(wù)器報(bào)警，當(dāng)然要發(fā)消息通知運(yùn)維人員。指甲機(jī)器人提供了這樣的功能。直接在美甲組中創(chuàng)建機(jī)器人將為我們提供一個(gè)restful界面，我們可以直接發(fā)送post請求。原生Linux由curl直接發(fā)送，Prometheus提供直接對接的插件。