圖片來源@全景視覺

文章學(xué)術(shù)標(biāo)題

文章學(xué)術(shù)標(biāo)題

在2020年ICLR在線會(huì)議上，Yann 蒙特利爾學(xué)習(xí)算法研究所所長(zhǎng)，圖靈獎(jiǎng)獲得者yoshua bengio和Facebook Lecun的副總裁兼首席AI科學(xué)家坦率地談?wù)摿薃I的未來研究趨勢(shì)。 按照這兩個(gè)大家伙的說法，自我監(jiān)督學(xué)習(xí)可以使AI產(chǎn)生像人一樣的推理能力。 與有意識(shí)地觀察世界的人一樣，

自我監(jiān)督學(xué)習(xí)需要在標(biāo)記數(shù)據(jù)集上進(jìn)行AI模型訓(xùn)練。 勒村認(rèn)為，隨著自我監(jiān)督學(xué)習(xí)的廣泛應(yīng)用，這種培訓(xùn)模式的作用將逐漸減弱。 自我監(jiān)督學(xué)習(xí)算法不再依賴標(biāo)簽，而是通過揭示數(shù)據(jù)各部分之間的關(guān)??系從數(shù)據(jù)生成標(biāo)簽。

自我監(jiān)督學(xué)習(xí)是機(jī)器學(xué)習(xí)的“理想狀態(tài)”，其重點(diǎn)是如何自動(dòng)生成數(shù)據(jù)標(biāo)簽。 該步驟被認(rèn)為對(duì)實(shí)現(xiàn)人類智能至關(guān)重要。 例如，輸入圖像，將圖像隨機(jī)旋轉(zhuǎn)一個(gè)角度，然后輸入旋轉(zhuǎn)的圖像作為輸入，并隨機(jī)旋轉(zhuǎn)該角度作為標(biāo)簽。

很多網(wǎng)友更關(guān)心的一個(gè)問題是，自我監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)是什么意思？

自我監(jiān)督學(xué)習(xí)類似于無監(jiān)督學(xué)習(xí)，即從沒有明確標(biāo)簽的數(shù)據(jù)中學(xué)習(xí)。 但是，無監(jiān)督學(xué)習(xí)側(cè)重于學(xué)習(xí)數(shù)據(jù)的內(nèi)部關(guān)系和結(jié)構(gòu)，例如聚類，分組，密度估計(jì)或異常檢測(cè)等，而自我監(jiān)控則根據(jù)數(shù)據(jù)集本身生成標(biāo)簽。 為了進(jìn)一步解釋自我調(diào)節(jié)學(xué)習(xí)，勒村做了一個(gè)比喻：“無論是人類還是動(dòng)物，在學(xué)習(xí)大多數(shù)事物時(shí)，我們都處于自我監(jiān)控的模式，而不是強(qiáng)化學(xué)習(xí)模式。從本質(zhì)上講，這種模式是為了 觀察世界，然后不斷增強(qiáng)與世界的互動(dòng)，這種觀察是自發(fā)的，而不是在測(cè)試條件下完成的�！斑@種學(xué)習(xí)方式更難用機(jī)器來復(fù)制。” Lecun說。在

中，不確定性是主要障礙

連續(xù)分布和離散分布

數(shù)據(jù)的分布就是這樣的表，它將變量的所有可能值與其出現(xiàn)的可能性聯(lián)系在一起，當(dāng)變量是離散的時(shí)，它們很好地表示了不確定性， 這就是為什么像Google Bert這樣的架構(gòu)如此成功的原因，但是目前，研究人員還沒有找到有效表示連續(xù)變量分布的方法。 2

在Stanford對(duì)話問答和數(shù)據(jù)集上進(jìn)行了測(cè)試，Bert達(dá)到93.2％的準(zhǔn)確性，分別優(yōu)于最先進(jìn)的機(jī)器學(xué)習(xí)水平和人類水平。 斯坦福問答集是一個(gè)閱讀理解數(shù)據(jù)集，其中包含一組維基百科文章中提出的問題。 在一般語言理解評(píng)估基準(zhǔn)（用于訓(xùn)練和評(píng)估NLP系統(tǒng)的一組資源）中，Bert的準(zhǔn)確性為80.4％。

解決了連續(xù)分布的問題。

Lecun認(rèn)為，如果我們找到一個(gè)可以表示連續(xù)分布的模型，那么將會(huì)有一個(gè)新的突破。

Lecun指出，解決連續(xù)分布問題的一種方法是使用基于能量的模型（EBM），該模型可以學(xué)習(xí)數(shù)據(jù)集中的數(shù)學(xué)元素并生成相似的數(shù)據(jù)集。 在之前的

中，openai開發(fā)了一個(gè)基于能量的模型，該模型可以快速學(xué)習(xí)識(shí)別并生成概念，例如附近，上，中，最近和最遠(yuǎn)，并將其表示為2D點(diǎn)集。 該模型僅在五次演示后才了解這些概念。

來自過去的研究，這種形式的建模很難應(yīng)用于實(shí)踐，但是2019年開放式AI的研究表明，這種基于能量的模型可以支持復(fù)雜的拓?fù)洹?本吉奧在討論中說，他相信人工智能研究可以從神經(jīng)科學(xué)領(lǐng)域受益匪淺，尤其是對(duì)意識(shí)和意識(shí)加工的探索。 當(dāng)然，好處是雙向的。 一些神經(jīng)科學(xué)家正在使用卷積神經(jīng)網(wǎng)絡(luò)作為視覺系統(tǒng)的腹側(cè)通路。 Bengio

預(yù)測(cè)，這項(xiàng)新研究將闡明高級(jí)語義變量與大腦如何處理信息（包括視覺信息）之間的關(guān)系。 這些變量用于人類語言交流中，它們可能會(huì)導(dǎo)致新一代的深度學(xué)習(xí)模型。

“通過與基礎(chǔ)語言學(xué)習(xí)相結(jié)合，我們可以取得很多進(jìn)步。歸根結(jié)底，我們都在構(gòu)建可以理解世界以及高級(jí)概念如何相互關(guān)聯(lián)的模型。這是一種共同的分布，” Bengio說 。 “我相信人類意識(shí)的過程是基于關(guān)于世界如何變化的假設(shè)的，可以將其理解為更高層次的表達(dá)。總之，我們看到世界的變化，然后提出一個(gè)句子來解釋世界的變化。 “

實(shí)現(xiàn)人類智能的另一個(gè)問題：背景知識(shí)

想實(shí)現(xiàn)人類智能，另一個(gè)大問題是背景知識(shí)。 正如Lecun解釋的那樣，大多數(shù)人可以在30小時(shí)內(nèi)學(xué)會(huì)駕駛汽車，因?yàn)樗麄円呀?jīng)建立了汽車憑直覺行事的物理模型。 相比之下，無人駕駛汽車所使用的強(qiáng)化學(xué)習(xí)模型現(xiàn)在是從零開始的，它們必須犯下數(shù)千個(gè)錯(cuò)誤才能進(jìn)行正確的操作。 “顯然，我們需要能夠建立模型來學(xué)習(xí)世界，這就是自我監(jiān)控學(xué)習(xí)的原因-運(yùn)行預(yù)測(cè)性世界模型，這使系統(tǒng)能夠更快地學(xué)習(xí)，”

lecun說道。 從概念上講，這很簡(jiǎn)單，除了在不確定的環(huán)境中我們無法完全預(yù)測(cè)。 根據(jù)

LeCun的說法，即使在自律式學(xué)習(xí)和神經(jīng)科學(xué)學(xué)習(xí)的支持下，實(shí)現(xiàn)通用人工智能（AGI）還遠(yuǎn)遠(yuǎn)不夠。

通用人工智能（AGI）是指機(jī)器獲得人類水平的智能。 一些研究人員將通用人工智能稱為強(qiáng)大的AI或完全AI，或者機(jī)器具有執(zhí)行通用智能動(dòng)作的能力。 他說，這是因?yàn)橹橇�，特別是人類的智力非常特殊。 “ AgI不存在。根本沒有通用人工智能。我們可以談?wù)撌髽?biāo)智能，貓智能，狗智能或人類智能，但是我們根本不能談?wù)撏ㄓ萌斯ぶ悄�。�?Lecun說。

，但bengio相信這臺(tái)機(jī)器最終將獲得有關(guān)世界的各種知識(shí)。 這個(gè)過程不需要機(jī)器來體驗(yàn)，而是通過獲取可以被語言化的知識(shí)來進(jìn)行。 他說：“與其他動(dòng)物相比，這對(duì)人類來說也是一個(gè)巨大的優(yōu)勢(shì)�！� “我認(rèn)為人類很聰明，因?yàn)槲覀儞碛凶约旱奈幕�，可以解決世界上的問題。要使AI在現(xiàn)實(shí)世界中發(fā)揮作用，我們不僅需要能夠翻譯的機(jī)器，還需要能夠真正理解自然語言的機(jī)器。 “

自我監(jiān)督學(xué)習(xí)是AI未來

自我監(jiān)督學(xué)習(xí)背后的核心思想。 它將開發(fā)一個(gè)深度學(xué)習(xí)系統(tǒng)，該系統(tǒng)可通過學(xué)習(xí)來填補(bǔ)AI的未知領(lǐng)域。

lecun在今年4月的AAAI會(huì)議上的講話中曾說：“我認(rèn)為自我監(jiān)督學(xué)習(xí)是AI的未來。這將使我們的AI系統(tǒng)和深度學(xué)習(xí)系統(tǒng)達(dá)到更高的水平。也許AI可以獲取有關(guān)以下方面的足夠的背景知識(shí)：

自我監(jiān)督學(xué)習(xí)的主要好處之一是AI可以主動(dòng)輸出大量信息。 在強(qiáng)化學(xué)習(xí)中，訓(xùn)練AI系統(tǒng)是在標(biāo)量級(jí)別實(shí)施的，該模型將獲得對(duì)其行為的獎(jiǎng)勵(lì)或懲罰值。 在監(jiān)督學(xué)習(xí)中，AI系統(tǒng)會(huì)為每個(gè)輸入結(jié)果預(yù)測(cè)類別或值。

在自我監(jiān)控學(xué)習(xí)中，輸出結(jié)果將涉及整個(gè)圖像或一組圖像。 “自我監(jiān)控學(xué)習(xí)的輸出信息非常大。對(duì)于AI要學(xué)習(xí)相同數(shù)量的世界知識(shí)而言，自我監(jiān)督學(xué)習(xí)需要更少的樣本�！� Lecun說。

我們必須弄清楚不確定性是如何工作的，當(dāng)我們找到解決方案時(shí)，我們將為AI的未來解鎖關(guān)鍵。

Lecun說：“如果人工智能是蛋糕，那么自我監(jiān)督學(xué)習(xí)就是最大的難題�！�

參考鏈接：

https：//venturebeat.com/2020/05/02/yan-lecun-and-yoshua- 貝尼奧自我監(jiān)督學(xué)習(xí)是人類水平智力/

的更多亮點(diǎn)，請(qǐng)注意鈦微信號(hào)（ID：taimeiti）或下載鈦媒體應(yīng)用程序