神經(jīng)網(wǎng)絡比支持向量機好嗎？

解答動態(tài)

• 

  你可能聽說過機器學習中的“沒有免費午餐定理”。對于每種模型，都有特定數(shù)據(jù)和用例的優(yōu)缺點。神經(jīng)網(wǎng)絡并不比支持向量機好，我可以很容易地舉幾個例子。一個重要的論點是支持向量機是凸的，而神經(jīng)網(wǎng)絡通常不是。有一個凸問題是可取的，因為我們有更多的工具來解決它更可靠。
  如果我們知道我們的數(shù)據(jù)，我們可以選擇一個更好的模型來更好地擬合數(shù)據(jù)。例如，如果我們有像甜甜圈形狀這樣的數(shù)據(jù)。像這樣
  
  使用具有正確核的支持向量機比使用神經(jīng)網(wǎng)絡更好，在這種情況下，神經(jīng)網(wǎng)絡可能會過度擬合數(shù)據(jù)。
  簡短回答：在小數(shù)據(jù)集上，支持向量機可能是首??br/> Long答案：
  神經(jīng)網(wǎng)絡比支持向量機更古老，支持向量機最初是作為一種有效訓練神經(jīng)網(wǎng)絡的方法而發(fā)展起來的。所以，當支持向量機在20世紀90年代發(fā)展成熟時，人們從神經(jīng)網(wǎng)絡轉向支持向量機是有原因的。后來，隨著數(shù)據(jù)集變得越來越大、越來越復雜，特征選擇成為一個（甚至更大）的問題，與此同時，計算能力的提高，人們又重新開始使用。
  這一發(fā)展已經(jīng)表明，兩者都有各自的優(yōu)點和缺點，正如海濤所說，沒有免費的午餐。
  本質(zhì)上，這兩種方法都有進行某種數(shù)據(jù)轉換，將它們“發(fā)送”到更高維空間。核函數(shù)對支持向量機的作用，隱層對神經(jīng)網(wǎng)絡的作用。最后，網(wǎng)絡中的輸出層還對轉換后的數(shù)據(jù)進行線性分離。所以這不是核心的區(qū)別。為了證明這一點，我可以隨意使用海濤的例子。正如你在下面看到的，一個兩層的神經(jīng)網(wǎng)絡，在隱藏層有5個神經(jīng)元，可以完美地將這兩個類分開。藍色類可以完全封閉在五邊形（淺藍色）區(qū)域中。隱藏層中的每個神經(jīng)元決定一個線性邊界——五邊形的一個邊，當它的輸入是線的“藍色”邊上的一個點時產(chǎn)生+1，否則產(chǎn)生-1（它也可能產(chǎn)生0，這其實無關緊要）。
  I使用了不同的顏色來突出顯示哪個神經(jīng)元負責哪個邊界。輸出神經(jīng)元（黑色）只是檢查（執(zhí)行邏輯AND，這也是一個線性可分函數(shù)）所有隱藏的神經(jīng)元是否給出相同的“肯定”答案。觀察最后一個神經(jīng)元有五個輸入。一、 它的輸入是一個5維向量。因此，隱藏層將二維數(shù)據(jù)轉換為5D數(shù)據(jù)。然而，請注意，神經(jīng)網(wǎng)絡繪制的邊界有些任意。您可以稍微移動和旋轉它們，而不會真正影響結果。網(wǎng)絡繪制邊界的方式有些隨機；它取決于權重的初始化以及向其呈現(xiàn)訓練集的順序。這就是支持向量機的不同之處：它們保證在兩個類的最近點之間畫出中間的邊界！可以證明這個邊界是最優(yōu)的。尋找邊界是一個凸（二次）優(yōu)化問題，存在快速算法。此外，核技巧的計算優(yōu)勢在于，計算單個非線性函數(shù)通常比通過許多隱藏層傳遞向量快得多。然而，由于支持向量機從不顯式計算邊界，而是通過輸入數(shù)據(jù)對上的核函數(shù)加權和，計算工作量與數(shù)據(jù)集大小成二次比例。對于大型數(shù)據(jù)集，這很快變得不切實際。
  此外，當數(shù)據(jù)是高維的（想想有數(shù)百萬像素的圖像）時，支持向量機可能會被維數(shù)的詛咒所淹沒：在訓練集上畫一個好的邊界變得太容易了，但是它的泛化特性很差。另一方面，卷積神經(jīng)網(wǎng)絡能夠從數(shù)據(jù)中學習相關特征。
  這里還有一個計算能力問題：今天的網(wǎng)絡喜歡使用分段線性的激活函數(shù)，比如ReLUs，這是有原因的。應用它們是簡單的線性代數(shù)，GPU擅長的東西（因為3D圖形也涉及很多矩陣乘法）。因此，今天的神經(jīng)網(wǎng)絡在某種程度上是游戲業(yè)的副產(chǎn)品。
  總之，我的建議是對低維小數(shù)據(jù)集使用支持向量機，對高維大數(shù)據(jù)集使用神經(jīng)網(wǎng)絡。
  
• 

  SVM很有趣，如果你心里有一個你知道合適的內(nèi)核，或者是一個特定領域的內(nèi)核，很難用可微的方式表達（一個常見的例子可能是DNA序列的字符串相似空間）。但是如果您不知道應該使用哪種內(nèi)核呢？如果你的數(shù)據(jù)是一個價值觀的廣泛集合，而你甚至事先都不確定哪些價值觀是相關的呢？你可以把人類研究人員的時間花在特性工程上，或者你可以嘗試自動內(nèi)核搜索方法，這些方法非常昂貴，但在好的一天，甚至可能會想出一些可以被認為是可解釋的方法。或者你可以把整件事都扔進DNN并進行訓練。神經(jīng)網(wǎng)絡通過backprop和梯度下降所做的可以很好地被認為是學習一個核，只是它不是一個很好的函數(shù)形式，而是由一個基本非線性的大量應用程序（字面上）組成，并加入一些加法和乘法。典型分類網(wǎng)絡的下一個最后一層就是這樣的結果——它是一個投影到一個空間中，該層中每個神經(jīng)元都有一個維度，在這個空間中，分類被很好地分離，然后是最終的結果（忽略softmax，這實際上只是一種標準化）是一個仿射映射，將空間映射到一個類別軸對齊的空間，因此分離的表面可以免費使用幾何體（但如果我們愿意，我們可以將它們向后發(fā)送到第二層到最后一層）。
  DNN分類器完成了與SVM分類器非常相似的事情，只有它用一種“愚蠢”的方式，使用梯度下降和簡單可微單元的重復。但有時在計算中，“啞巴”也有它的優(yōu)點。易于應用于gpu（它喜歡將相同的簡單操作并行應用于大量數(shù)據(jù)點）就是其中之一。SGD和小批量梯度下降的能力，以最小的效率損失擴展到非常大的例子數(shù)量是另一個。當然，它也有自己的缺點。如果你在神經(jīng)網(wǎng)絡結構、初始權值、優(yōu)化方法、學習率、批量大小等方面做了錯誤的選擇，那么隨機訓練過程可能完全無法收斂，或者需要100萬年才能收斂，而支持向量機訓練基本上是確定性的術語；這些是我15年左右的個人經(jīng)歷，只是偶爾的愛好而已
• End