webmagic教程 被我們公司的后端大佬說(shuō)你們前端真的沒(méi)什么技術(shù)含量，我該怎么懟回去？
被我們公司的后端大佬說(shuō)你們前端真的沒(méi)什么技術(shù)含量，我該怎么懟回去？直接回復(fù)：dute正在移動(dòng)磚塊。你還有優(yōu)越感嗎？他們都是敢死隊(duì)。你還在死亡的路上嗎？你覺(jué)得自己優(yōu)越嗎？webmagic怎么做成分布式的
被我們公司的后端大佬說(shuō)你們前端真的沒(méi)什么技術(shù)含量，我該怎么懟回去？
直接回復(fù)：dute正在移動(dòng)磚塊。你還有優(yōu)越感嗎？他們都是敢死隊(duì)。你還在死亡的路上嗎？你覺(jué)得自己優(yōu)越嗎？
webmagic怎么做成分布式的？
本文構(gòu)建了一個(gè)基于redis的分布式爬蟲(chóng)實(shí)現(xiàn)，代碼如下：
public class redischeduler implements scheduler{
private jedispool pool
private static final string queueuprefix=“queueu”
private static final string SETuprefix=“SETu”
public redischeduler（string host）{
pool=new jedispool（new jedispool config（）主機(jī)）
}
@Override
public void push（請(qǐng)求，任務(wù)）{
Jedis Jedis=池.getResource（）
//使用sortedset進(jìn)行URL重復(fù)數(shù)據(jù)消除
如果（絕地武士團(tuán)（設(shè)置前綴）任務(wù).getUUID()， 請(qǐng)求.getUrl（））==null）{
//用列表保存隊(duì)列絕地武士（隊(duì)列前綴）任務(wù).getUUID()， 請(qǐng)求.getUrl())
絕地武士扎德（設(shè)置前綴）任務(wù).getUUID()， System.currentTimeMillis公司()， 請(qǐng)求.getUrl（））
}
}
@Override
公共請(qǐng)求輪詢(xún)（任務(wù)）{
Jedis Jedis=池.getResource（）
字符串url=絕地武士.lpop（隊(duì)列前綴）任務(wù).getUUID（））
返回新請(qǐng)求（url）
}
}