傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)集成

一般咱們說的「集成」（ensemble），就是組合若干不同的模型，讓它們根據(jù)相同的輸入做出猜測，接著經(jīng)過某種均勻化辦法決議集成模型的終究猜測。這個決議過程可能是經(jīng)過簡略的投票或取均值，也可能是經(jīng)過另一個模型，該模型根據(jù)集成模型的成果，學(xué)習(xí)猜測正確值或標(biāo)簽。嶺回歸是一種可以組合若干個不同猜測的成果的辦法，Kaggle 上衛(wèi)星數(shù)據(jù)辨認(rèn)熱帶雨林比賽的冠軍就運用過這一辦法。

快照集成是在每次學(xué)習(xí)率周期結(jié)尾保存模型，然后在猜測時運用。

集成應(yīng)用于深度學(xué)習(xí)時，組合若干網(wǎng)絡(luò)的猜測以得到一個終究的猜測。一般，運用好幾個不同架構(gòu)的神經(jīng)網(wǎng)絡(luò)比較好，由于不同架構(gòu)的網(wǎng)絡(luò)一般會在不同的練習(xí)樣本上犯錯，因而集成的收益會更大。

快照集成運用周期性學(xué)習(xí)率退火

當(dāng)然，你也可以集成同一架構(gòu)的模型，或許作用會出人意料的好。就比如這篇快照集成的論文，作者在練習(xí)同一個網(wǎng)絡(luò)的過程中保存了不同的權(quán)值快照，然后在練習(xí)之后創(chuàng)立了同一架構(gòu)、不同權(quán)值的集成網(wǎng)絡(luò)。這么做可以提高測驗的體現(xiàn)，一起也超省錢——由于你只需求練習(xí)一個模型、練習(xí)一次就好，只需記得隨時保存權(quán)值就行。

你可以仔細(xì)閱讀下文章開始說到的那篇 Vitaly Bushaev 的關(guān)于學(xué)習(xí)率的文章。假如你到目前為止還沒有嘗試過周期性學(xué)習(xí)率，那你真該去試試，它正在成為當(dāng)時作用最好的、也最規(guī)范的做法，它簡略易上手，核算量很輕，可以說十分事半功倍了。

上文羅列的所有比如都是模型空間內(nèi)的集成。組合若干模型，接著運用這些模型的猜測以得到終究的猜測成果。

而本文我想給咱們介紹的論文中，作者提出了一種全新的權(quán)值空間內(nèi)的集成。該辦法經(jīng)過組合同一網(wǎng)絡(luò)在練習(xí)的不同階段的權(quán)值得到一個集成，接著運用組合的權(quán)值做出猜測。這種辦法有兩個優(yōu)點：

組合權(quán)重后，咱們終究依然得到一個模型，這有利于加速猜測。事實證明，這種辦法勝過當(dāng)時最先進(jìn)的快照集成。

在了解這一辦法是怎么作業(yè)之前，咱們首要需求了解丟失平面（loss surface）和泛化的解（generalizable solution）。

權(quán)重空間內(nèi)的解

榜首個不得不說到的是，經(jīng)過練習(xí)的網(wǎng)絡(luò)是高維權(quán)值空間中的一個點。對給定的架構(gòu)而言，每個不同的網(wǎng)絡(luò)權(quán)值組合都代表了一個不同的模型。任何給定架構(gòu)都有無量的權(quán)重組合，因而有無量多的解。練習(xí)神經(jīng)網(wǎng)絡(luò)的目標(biāo)是找到一個特定的解（權(quán)值空間中的點），使得練習(xí)數(shù)據(jù)集和測驗數(shù)據(jù)集上的丟失函數(shù)的值都比較低。

在練習(xí)期間，練習(xí)算法經(jīng)過改動權(quán)值來改動網(wǎng)絡(luò)并在權(quán)值空間中周游。梯度下降算法在一個丟失平面上周游，該平面的海拔為丟失函數(shù)的值。

窄極值和寬極值

率直的講，可視化并了解高維權(quán)值空間的幾許特性十分困難，但咱們又不得不去了解它。由于隨機梯度下降的實質(zhì)是，在練習(xí)時穿過這一高維空間中的丟失平面，企圖找到一個良好的解——丟失平面上的一個丟失值較低的「點」。不過后來咱們發(fā)現(xiàn)，這一平面有許多部分極值。但這些部分極值并不都有相同好的性質(zhì)。

Geoffery Hinton：「為了處理一個 14 維空間中的超平面，可視化了一個 3 維空間，并對自己大聲說『十四』。每個人都是這樣做的?！梗ǔ鎏帲篶oursera 課程）

寬的極值和窄的極值。寬的部分極小值在練習(xí)和測驗過程中發(fā)生類似的丟失；但關(guān)于窄的部分極小值而言，練習(xí)和測驗中發(fā)生的丟失就會有很大區(qū)別。這意味著，寬的極值比窄的極值有更好的泛化性。

平整度可以用來衡量一個解的好壞。其間的原理是，練習(xí)數(shù)據(jù)集和測驗數(shù)據(jù)聚會發(fā)生類似但不盡相同的丟失平面。你可以將其幻想為測驗平面相對練習(xí)平面而言平移了一點。對窄的解來說，一個在測驗的時分丟失較低的點可能由于這一平移發(fā)生變?yōu)閬G失較高的點。這意味著窄的（尖利的）解的泛化性不好——練習(xí)丟失低，測驗丟失高。另一方面，關(guān)于寬的（平整的）解而言，這一平移形成的練習(xí)丟失和測驗丟失間的差異較小。

我解說了兩種解決方案之間的區(qū)別，是由于這篇論文的提出的辦法、也是我這篇文章要點介紹的辦法，就能帶來討人喜歡的、寬的（平整的）解。

快照集成（Snapshot Ensembling）

開始，SGD 會在權(quán)值空間中跳出一大步。接著，由于余弦退火，學(xué)習(xí)率會逐步降低，SGD 將逐步收斂于某個部分解，算法將保存一個模型的「快照」，把它參加集成模型。接著學(xué)習(xí)率重置為高值，SGD 再次邁一大步，找到另一個部分極值，以此類推。

快照集成的周期長度為 20 到 40 個 epoch。較長的學(xué)習(xí)率周期是為了在權(quán)值空間中找到滿足具有差異化的模型，以發(fā)揮集成的優(yōu)勢。假如模型太類似，那么集成模型中不同網(wǎng)絡(luò)的猜測將會過于接近，以至于集成并不會帶來多大益處了。

快照集成體現(xiàn)優(yōu)異，提高了模型的體現(xiàn)，但快速幾許集成作用更好。

快速幾許集成（Fast Geometric Ensembling，F(xiàn)GE）

《DNNs 的丟失外表、形式連接和快速集成》中提出的快速幾許集成 FGE 和快照集成十分像，可是也有一些共同的特點。它們的不同主要有兩點。榜首，快速幾許集成運用線性分段周期學(xué)習(xí)率規(guī)劃，而不是余弦改變。第二，F(xiàn)GE 的周期長度要短得多——2 到 4 個 epoch。乍一看咱們必定直覺上覺得這么短的周期是不對的，由于每個周期完畢的時分的得到的模型互相之間離得太近了，這樣得到的集成模型沒有什么優(yōu)勢。但是作者們發(fā)現(xiàn)，在滿足不同的模型之間，存在著丟失較低的連通途徑。咱們有時機沿著這些途徑用較小的步長跋涉，一起這些模型也可以有滿足大的差異，滿足發(fā)揮集成的優(yōu)勢。因而，相比快照集成， FGE 體現(xiàn)更好，搜索模型的步長更?。ㄟ@也使其練習(xí)更快）。

FGE 沿著這些途徑保存快照，然后創(chuàng)立快照的集成。

要從快照集成或 FGE 中獲益，需求存儲多個模型，接著讓每個模型做出猜測，之后加以均勻以得到終究猜測。因而，咱們?yōu)榧傻念~定體現(xiàn)支付了更高的算力價值。所以天下沒有免費的午飯。真的沒有嗎？這就是隨機加權(quán)均勻的用武之地了。

成都全網(wǎng)推廣－了解更多此方面的朋友請登陸：http://www.zitec.com.cn/！這里有更多的驚喜等著您！