如何更好地調(diào)試神經(jīng)網(wǎng)絡(luò)？聲明：本文區(qū)分于神經(jīng)網(wǎng)絡(luò)初學(xué)者。神經(jīng)網(wǎng)絡(luò)的設(shè)置參數(shù)要比絕大多數(shù)程序更難了，畢竟大多數(shù)bug不會(huì)可能導(dǎo)致運(yùn)行錯(cuò)誤，只會(huì)造成松動(dòng)的收斂。也許是肯定會(huì)有許多但卻含糊其辭的錯(cuò)誤`信息：

如何更好地調(diào)試神經(jīng)網(wǎng)絡(luò)？

聲明：本文區(qū)分于神經(jīng)網(wǎng)絡(luò)初學(xué)者。

神經(jīng)網(wǎng)絡(luò)的設(shè)置參數(shù)要比絕大多數(shù)程序更難了，畢竟大多數(shù)bug不會(huì)可能導(dǎo)致運(yùn)行錯(cuò)誤，只會(huì)造成松動(dòng)的收斂。也許是肯定會(huì)有許多但卻含糊其辭的錯(cuò)誤`信息：

性能錯(cuò)誤：你的神經(jīng)網(wǎng)絡(luò)沒(méi)有訓(xùn)練好（PerformanceError:yourneuralnetdid nottrainnicely.）。

要是你比較有經(jīng)驗(yàn)，就應(yīng)該要知道這表示代碼還不需要大改。

一、處理NaN？多數(shù)情況下，NaN錯(cuò)誤在前100次迭代中出現(xiàn)，原因很簡(jiǎn)單：你的學(xué)習(xí)率過(guò)低了。當(dāng)去學(xué)習(xí)率非常高的時(shí)候，都會(huì)在前100次迭代的時(shí)候再次出現(xiàn)NaN錯(cuò)誤。用因子為3來(lái)減低學(xué)習(xí)率，待到前100次迭代并沒(méi)有又出現(xiàn)NaN錯(cuò)誤。這件事否則的話比較有效，你就有了一個(gè)的很好的學(xué)習(xí)率才是開(kāi)端。據(jù)我的經(jīng)驗(yàn)，好是的學(xué)習(xí)率是你換取NaN出現(xiàn)錯(cuò)誤的范圍的一到十分之一。

如果不是你在100次迭代之后接觸了NaN錯(cuò)誤，又有兩種常見(jiàn)原因。

假如你建議使用的是RNN，確保全你在用了梯度下降，并對(duì)梯度在用L2正則化。RNN似乎在訓(xùn)練早期會(huì)產(chǎn)生梯度，10%或更少的批次有學(xué)習(xí)峰值，此時(shí)的梯度幅值是也很高的。沒(méi)有對(duì)梯度削減石油，這些峰值會(huì)才能產(chǎn)生NaN。

如果沒(méi)有寫(xiě)的是可以自定義的網(wǎng)絡(luò)層，這樣很可能會(huì)因?yàn)槌艘?0而演變成NaN。另一個(gè)眾所皆知會(huì)有一種Nan出現(xiàn)錯(cuò)誤的層是Softmax層。Softmax可以計(jì)算包括分子分母的exp(x)你的操作，它也可以用無(wú)限小乘以5無(wú)限大，會(huì)再產(chǎn)生NaN。必須保證你在用了很穩(wěn)定的Softmax實(shí)現(xiàn)。

二、神經(jīng)網(wǎng)絡(luò)無(wú)法學(xué)習(xí)？一但你沒(méi)有了NaN錯(cuò)誤，那就你的神經(jīng)網(wǎng)絡(luò)就可以在上千次迭代中穩(wěn)健運(yùn)行，但是不可能在前幾百次迭代后會(huì)減少訓(xùn)練損失。當(dāng)你第一次構(gòu)建體系代碼庫(kù)的時(shí)候，最好是別建議使用2000次迭代。這并也不是畢竟所有的網(wǎng)絡(luò)這個(gè)可以從少于2000次迭始學(xué)習(xí)。只不過(guò)，從開(kāi)頭正在編碼網(wǎng)絡(luò)很可能又出現(xiàn)bug，在都沒(méi)有達(dá)到高迭代次數(shù)之前，你會(huì)想不能過(guò)早參與調(diào)試。現(xiàn)在的目的是一次次地漲大問(wèn)題范圍，等到你換取了一個(gè)在2000次迭代以下訓(xùn)練出來(lái)的網(wǎng)絡(luò)。她的幸運(yùn)地是，有兩種來(lái)減低復(fù)雜性。

將訓(xùn)練什么集大小增大到10個(gè)實(shí)例。在幾百次的迭代中，在這10個(gè)實(shí)例上，神經(jīng)網(wǎng)絡(luò)通常會(huì)出現(xiàn)運(yùn)動(dòng)過(guò)多數(shù)據(jù)擬合的情況。許多編碼出錯(cuò)應(yīng)該不會(huì)造成過(guò)擬合的出現(xiàn)。如果你的網(wǎng)絡(luò)在10個(gè)實(shí)例的訓(xùn)練集上沒(méi)有會(huì)出現(xiàn)過(guò)度曲線擬合，那就確保你使用的數(shù)據(jù)掛著了正確的標(biāo)簽。將批次大小大小改變到1來(lái)全面檢查批次計(jì)算錯(cuò)誤。在代碼中直接添加再打印語(yǔ)句確保全輸出來(lái)與你只希望的一致。通常情況下，你可以不通過(guò)上面詳細(xì)介紹的只不過(guò)是蠻力來(lái)看出錯(cuò)誤。一但網(wǎng)絡(luò)這個(gè)可以在10個(gè)實(shí)例上訓(xùn)練，你這個(gè)可以試著讓它在100個(gè)實(shí)例上訓(xùn)練。如果這種運(yùn)行正常嗎，但效果并非非常好，你可以不試試看下面的方法。

解決的辦法你感興趣的最簡(jiǎn)單的問(wèn)題。如果不是你想翻譯句子，是需要這個(gè)可以確立一個(gè)因?yàn)樘囟ǖ氖录Z(yǔ)言的語(yǔ)言模型。如果沒(méi)有你完成了，那你試著在具體3個(gè)詞語(yǔ)的情況下預(yù)測(cè)英譯中不出來(lái)的第一個(gè)詞。如果你想可以檢測(cè)圖像中的物體，這樣的話在訓(xùn)練訓(xùn)練進(jìn)入虛空網(wǎng)絡(luò)之前，你也可以對(duì)圖像中物體數(shù)目并且分類。在網(wǎng)絡(luò)能解決的傷腦筋問(wèn)題和使用大約的時(shí)間讓代碼我得到比較好的數(shù)據(jù)之間必須權(quán)衡。這會(huì)兒現(xiàn)在就要發(fā)揮出來(lái)你的創(chuàng)造能力了。

將神經(jīng)網(wǎng)絡(luò)應(yīng)用于其他新場(chǎng)景的技巧是合理使用上面介紹的兩個(gè)步驟。這是一種協(xié)調(diào)機(jī)制，另外效果比較不錯(cuò)。簡(jiǎn)單的方法，你是因?yàn)檫@個(gè)神經(jīng)網(wǎng)絡(luò)至多可以不記好幾個(gè)例子。然后再這個(gè)神經(jīng)網(wǎng)絡(luò)是可以相對(duì)化到更簡(jiǎn)單點(diǎn)問(wèn)題的驗(yàn)證分散。你漸漸在拿到加足馬力進(jìn)展時(shí)提升難度。這完全沒(méi)有高手第二次可以使用的Karpathy風(fēng)格這樣很有意思，但起碼它起作用。有時(shí)你會(huì)遇到頭疼的問(wèn)題，你會(huì)發(fā)覺(jué)它在2000次迭代中絕對(duì)不會(huì)一直怎么學(xué)習(xí)了。那很棒！但它的迭代次數(shù)大多會(huì)是這個(gè)問(wèn)題之前古怪度下迭代次數(shù)的10倍。如果沒(méi)有你發(fā)現(xiàn)到是那種情況，一段時(shí)間搜索不算高水平的古怪度。

三、調(diào)整超參數(shù)現(xiàn)在你的網(wǎng)絡(luò)可以怎么學(xué)習(xí)東西了，你肯定會(huì)自鳴得意。你還很可能發(fā)現(xiàn)你訓(xùn)練的網(wǎng)絡(luò)根本不還能夠解決的辦法大多數(shù)復(fù)雜的問(wèn)題。超參數(shù)調(diào)整應(yīng)該是解決問(wèn)題的方法的關(guān)鍵。有些人真接可以下載一個(gè)CNN的包然后在他們的數(shù)據(jù)集上啟動(dòng)，接著我告訴你說(shuō)在用超參數(shù)調(diào)整并沒(méi)有什么給予什么不同。這是畢竟它們建議使用早必然的架構(gòu)來(lái)能解決巳經(jīng)現(xiàn)存問(wèn)題。如果沒(méi)有你什么問(wèn)題啊必須新的架構(gòu)呢，實(shí)際超參數(shù)調(diào)整來(lái)能得到良好素質(zhì)的設(shè)置是需要的了。你最好以保證是對(duì)你什么問(wèn)題啊泛讀了超參數(shù)教程，當(dāng)然了我肯定會(huì)在下面列出一些基本思想。

可視化：最好別怕在訓(xùn)練過(guò)程中花時(shí)間編寫(xiě)選項(xiàng)卡可視化工具。要是你的可視化方法效果不行，那么判斷換另一種方法。

權(quán)重初始化操作：一般情況下，會(huì)增大的初始化權(quán)重是個(gè)不錯(cuò)的選擇，但是太大又會(huì)會(huì)造成NaN。

必須保證權(quán)重看起來(lái)“健康”。要打聽(tīng)一下這是什么意思，我個(gè)人建議在IPython的notebook中一欄超過(guò)網(wǎng)絡(luò)的權(quán)重值?；ㄐr(shí)間來(lái)仔細(xì)觀察在諸如ImageNet或PennTreeBank這些標(biāo)準(zhǔn)的數(shù)據(jù)集上訓(xùn)練的完全成熟的網(wǎng)絡(luò)中成分的權(quán)重的直方圖應(yīng)該要是什么樣的。

神經(jīng)網(wǎng)絡(luò)的w.r.t.輸入不是增加的，特別是在在用SGD而并非其他方法訓(xùn)練的時(shí)候，是因?yàn)镾GD不是尺度變?yōu)榈姆椒??；〞r(shí)間用與儲(chǔ)存其他方面的來(lái)擴(kuò)大然后輸入數(shù)據(jù)和輸出來(lái)標(biāo)簽。

在訓(xùn)練過(guò)程中減低去學(xué)習(xí)速率甚至總會(huì)給你給予提升。最好就是的能量損失策略通常是：在k次迭代后，每n次迭代就用學(xué)率除以21.5，kgtn。

不使用超參數(shù)配置文件，確實(shí)把超參數(shù)放到代碼中也行，但假如你想試一下完全不同的值這樣會(huì)都很麻煩的話。我把參數(shù)裝在一個(gè)JSON文件中，不使用一條命令導(dǎo)出，準(zhǔn)確的格式不重要的是。最好不要絕不可能重構(gòu)代碼，只不過(guò)重新加載超參數(shù)都很麻煩！重新架構(gòu)會(huì)分解重組bug，它們城就會(huì)延長(zhǎng)訓(xùn)練周期，但是可以在你能得到一個(gè)你喜歡的網(wǎng)絡(luò)前避免。

更多優(yōu)質(zhì)內(nèi)容，請(qǐng)緩慢參與鎂客網(wǎng)~~

大數(shù)據(jù)主要涉及的內(nèi)容有哪些？可以從事哪些崗位？

你記得大學(xué)本科畢業(yè)的第一份工作，我們公司的業(yè)務(wù)那就是做BI產(chǎn)品研發(fā)。哪時(shí)候互聯(lián)網(wǎng)就沒(méi)今天那樣激狂，也沒(méi)有大數(shù)據(jù)、移動(dòng)互聯(lián)網(wǎng)的概念。記住有一次和同事去華師后門買書(shū)，同事買了一本javascript,我買了一個(gè)ajax。那時(shí)，我們產(chǎn)品的客戶端是用Delphi的新的，當(dāng)然買書(shū)就是是為另外一點(diǎn)新知識(shí)，工作中基本是用不了。在公司的第三年，公司要轉(zhuǎn)做web的BI展示界面，我?guī)凸居胹vg做了兩個(gè)展示組件，心里肯定美滋滋的。

伴隨著時(shí)間的推移、電商的發(fā)展，大數(shù)據(jù)、云計(jì)算似乎成了每個(gè)互聯(lián)網(wǎng)公司對(duì)外宣傳的標(biāo)準(zhǔn)說(shuō)法。如果不講點(diǎn)這些概念，顯然給人覺(jué)得不完整些逼格。我記得10年在公司的三次培訓(xùn)上，有個(gè)同事問(wèn)，云計(jì)算有沒(méi)你搞出的，就是因?yàn)槲倚赵?。?tīng)見(jiàn)這個(gè)問(wèn)題，我又哭又笑皆無(wú)。

大數(shù)據(jù)這個(gè)概念喊了這些年來(lái)了，很多人應(yīng)該不明白大數(shù)據(jù)指的是什么？就是為了解釋好這個(gè)問(wèn)題，我還去拿來(lái)去搜索了大數(shù)據(jù)的概念。老老實(shí)實(shí)說(shuō)百科的解釋，連我從事行業(yè)了這些年互聯(lián)網(wǎng)的人，也沒(méi)搞懂。

“大數(shù)據(jù)（big data），IT行業(yè)術(shù)語(yǔ)，是指難以在肯定會(huì)時(shí)間范圍內(nèi)用查看軟件工具接受捕捉、管理和處理的數(shù)據(jù)真包含于，是要新處理模式才能具備更強(qiáng)的決策力、深刻洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長(zhǎng)率和豐富化的信息資產(chǎn)?！?/p>

什么是大數(shù)據(jù)？

大數(shù)據(jù)說(shuō)的含蓄點(diǎn)，那就是句子修辭一套技術(shù)手段，把數(shù)據(jù)變的信息和知識(shí)的過(guò)程。數(shù)據(jù)而言是沒(méi)有價(jià)值的東西，我們要把數(shù)據(jù)加工成信息或則知識(shí)，才能被人類再理解。舉個(gè)例子：公司一周的考勤數(shù)據(jù)是意義不大的東西，但我們實(shí)際一月考勤數(shù)據(jù)的分析和都很，我們發(fā)現(xiàn)到張三這個(gè)員工還老遲到一分鐘。這樣，張三總是早退這個(gè)信息就對(duì)公司的管理有幫助了，領(lǐng)導(dǎo)要去所了解下，你是不是張三家有什么事？也可以張三最近直接出現(xiàn)別的狀況？

大數(shù)據(jù)的“大”又要如何表述呢？正所謂“大”，一層含義指數(shù)據(jù)的體量大，在數(shù)據(jù)庫(kù)時(shí)代數(shù)據(jù)以GB為單位，但在互聯(lián)網(wǎng)時(shí)代以TB為單位，數(shù)據(jù)的體量升了一個(gè)數(shù)量級(jí)。另一層含義指數(shù)據(jù)形式的多樣化。在比較傳統(tǒng)BI應(yīng)用中，數(shù)據(jù)大都是存儲(chǔ)在關(guān)系型數(shù)據(jù)庫(kù)中，但在互聯(lián)網(wǎng)時(shí)代，數(shù)據(jù)的形式變得異常多元化了，的或:文本、視頻及數(shù)據(jù)庫(kù)。清楚了大數(shù)據(jù)的概念，我們過(guò)來(lái)看，大數(shù)據(jù)包含哪些內(nèi)容。

大數(shù)據(jù)的內(nèi)涵

大數(shù)據(jù)從技術(shù)的角度再去看，真包含兩大分支：數(shù)據(jù)分析和數(shù)據(jù)挖掘。數(shù)據(jù)分析是對(duì)歷史數(shù)據(jù)的分析，為管理可以提供輔助決策信息。數(shù)據(jù)挖掘是想研究趨勢(shì)和未來(lái)的問(wèn)題，比較多應(yīng)用到在預(yù)測(cè)方面。從業(yè)務(wù)的時(shí)效性要求再去看，分成三類：實(shí)時(shí)在線分析系統(tǒng)和離線分析系統(tǒng)。的或:網(wǎng)站的實(shí)時(shí)用戶區(qū)域分佈狀況應(yīng)該是智能分析應(yīng)用；2019年全國(guó)各省GDP排名分析是離綫總結(jié)應(yīng)用。

從大數(shù)據(jù)項(xiàng)目的過(guò)程看，大數(shù)據(jù)包涵：數(shù)據(jù)采集、數(shù)據(jù)收集、數(shù)據(jù)轉(zhuǎn)化與存儲(chǔ)、數(shù)據(jù)建模分析、上層應(yīng)用展示等。大數(shù)據(jù)的難點(diǎn)，本質(zhì)海量數(shù)據(jù)的分析，這又不屬于到海量數(shù)據(jù)存儲(chǔ)及分析架構(gòu)等問(wèn)題。

明確的Hadoop的技術(shù)體系來(lái)講，flume單獨(dú)抽取和轉(zhuǎn)化成存儲(chǔ)文件在服務(wù)器各處的日志及數(shù)據(jù)，存儲(chǔ)文件在以hdfs文件系統(tǒng)的或hive也可以hbase等數(shù)據(jù)倉(cāng)庫(kù)中，再利用hadoop架構(gòu)的規(guī)范，匯編語(yǔ)言mapreduce作業(yè)，再把分析結(jié)果展示更多給用戶。不過(guò)，這里面設(shè)計(jì)什么到數(shù)據(jù)分析的各種算法。

大數(shù)據(jù)相關(guān)的工作崗位

下面介紹下，大數(shù)據(jù)相關(guān)的核心崗位：

業(yè)務(wù)專家或者顧問(wèn)：為大數(shù)據(jù)可以提供研發(fā)方向和可以確定研究主題，并為技術(shù)人員能提供業(yè)務(wù)支持。

數(shù)據(jù)分析師：畜牧獸醫(yī)相關(guān)專業(yè)數(shù)據(jù)收集、整理、分析并依據(jù)數(shù)據(jù)表現(xiàn)出評(píng)估和預(yù)測(cè)的專業(yè)人員。

數(shù)據(jù)挖掘工程師：從海量數(shù)據(jù)中才發(fā)現(xiàn)規(guī)律，必須比較好的算法和數(shù)學(xué)基礎(chǔ)。

可視化工程師：能提供美觀、以便于人們表述的分析的結(jié)果展示界面。

維護(hù)工程師：負(fù)責(zé)服務(wù)器環(huán)境的配置、壘建和運(yùn)維。

每個(gè)公司采用的大數(shù)據(jù)技術(shù)線路有所不同，工作崗位會(huì)有了差距。比較感興趣朋友，可以自己去知道一點(diǎn)下，超過(guò)的幾種大數(shù)據(jù)方案。

伴隨著5G網(wǎng)絡(luò)的建設(shè)，接入網(wǎng)絡(luò)的iot設(shè)備會(huì)越來(lái)越多，互聯(lián)網(wǎng)所學(xué)習(xí)積累的數(shù)據(jù)，可能會(huì)成級(jí)數(shù)提升。在未來(lái)幾年，大數(shù)據(jù)行業(yè)始終是朝陽(yáng)行業(yè)，需要的大數(shù)據(jù)人才會(huì)越來(lái)越多，我希望本文對(duì)有意愿加入到大數(shù)據(jù)行業(yè)的朋友，有所啟發(fā)和幫助，也希望大家能對(duì)大數(shù)據(jù)的概念，有更清晰的認(rèn)識(shí)。謝謝啊！