智能產(chǎn)品（官方帳戶(hù)：zhidxcom）

，Google和人工智能（AI）設(shè)計(jì)芯片的新進(jìn)展。 谷歌團(tuán)隊(duì)在昨天發(fā)布的新預(yù)印本中描述了一種深度強(qiáng)化學(xué)習(xí)方法，該方法可以在六個(gè)小時(shí)內(nèi)完成芯片布局設(shè)計(jì)，而人類(lèi)專(zhuān)家通常需要數(shù)周才能完成相同的設(shè)計(jì)步驟。

人工智能的快速發(fā)展得益于計(jì)算機(jī)系統(tǒng)和硬件的巨大進(jìn)步，但是隨著摩爾定律的放慢，世界需要新的硬件體系結(jié)構(gòu)來(lái)滿(mǎn)足計(jì)算能力的指數(shù)級(jí)增長(zhǎng)。 但是，對(duì)于

，芯片設(shè)計(jì)通常需要幾年的時(shí)間。 芯片設(shè)計(jì)專(zhuān)家必須預(yù)測(cè)未來(lái)2-5年的機(jī)器學(xué)習(xí)（ML）模型對(duì)芯片的需求。 大大縮短芯片設(shè)計(jì)周期將使硬件更好地適應(yīng)人工智能的快速發(fā)展。

Google研究人員認(rèn)為，人工智能將提供一種縮短芯片設(shè)計(jì)周期，在硬件和人工智能之間建立共生關(guān)系，促進(jìn)彼此進(jìn)步的方法。

與原始方法不同。 Google的新算法可以借鑒過(guò)去的經(jīng)驗(yàn)，并隨著時(shí)間的推移而不斷改進(jìn)。 特別是當(dāng)訓(xùn)練更多的塊時(shí)，該算法可以快速生成從未見(jiàn)過(guò)的芯片的優(yōu)化設(shè)計(jì)。

研究人員表示，這種方法使真正的AI加速器（Google TPU）可以實(shí)現(xiàn)比當(dāng)前最高基準(zhǔn)水平更好的功率，性能和面積（PPA）。

的這項(xiàng)研究適用于任何芯片布局優(yōu)化。 如果該技術(shù)可以公開(kāi)使用，它將使資金拮據(jù)的初創(chuàng)企業(yè)能夠開(kāi)發(fā)自己的芯片用于AI和其他特殊用途。 它還可以幫助縮短芯片的設(shè)計(jì)周期，從而使硬件更好地適應(yīng)快速發(fā)展的研究。

的研究主題是“具有深度強(qiáng)化學(xué)習(xí)的切屑放置”。 Azalia mirhoseini和Anna Goldie是合著者。

發(fā)布全文鏈接：https://arxiv.org/pdf/2004.10746.pdf

1.征服芯片設(shè)計(jì)中最耗時(shí)的部分

在芯片設(shè)計(jì)中，全局布線(xiàn)是最復(fù)雜，最耗時(shí)的過(guò)程之一 階段，這需要在日益復(fù)雜的電路中進(jìn)行多目標(biāo)優(yōu)化。

在這項(xiàng)新研究中，研究人員提出了一種基于深度強(qiáng)化學(xué)習(xí)的芯片布局方法，該方法旨在將宏（例如SRAM）和標(biāo)準(zhǔn)單元（例如NAND，nor和XOR）的網(wǎng)格節(jié)點(diǎn)映射到芯片畫(huà)布（ 一個(gè)有界的2D空間），以?xún)?yōu)化功耗，性能和面積（PPA），同時(shí)滿(mǎn)足對(duì)布局密度和布線(xiàn)擁塞約束的要求。

這些網(wǎng)表圖的大小范圍從數(shù)百萬(wàn)個(gè)節(jié)點(diǎn)到數(shù)十億個(gè)節(jié)點(diǎn)不等，通常需要數(shù)小時(shí)到一天的時(shí)間來(lái)評(píng)估目標(biāo)指標(biāo)。 盡管已經(jīng)對(duì)芯片布局問(wèn)題進(jìn)行了數(shù)十年的研究，但人類(lèi)專(zhuān)家仍然需要使用現(xiàn)有的布局工具來(lái)生成滿(mǎn)足各種設(shè)計(jì)標(biāo)準(zhǔn)的解決方案。 為了解決這一難題，Google研究人員提出將芯片布局視為增強(qiáng)學(xué)習(xí)（RL）問(wèn)題。 根據(jù)研究人員的說(shuō)法，這是第一種具有泛化能力的芯片布局方法。 它可以利用我們從先前的布局網(wǎng)表中學(xué)到的知識(shí)為我們從未見(jiàn)過(guò)的新網(wǎng)表生成優(yōu)化的芯片設(shè)計(jì)方案，從而為芯片設(shè)計(jì)人員帶來(lái)新的可能性。

研究人員說(shuō)：“我們的方法可以直接優(yōu)化目標(biāo)指標(biāo)，例如線(xiàn)長(zhǎng)，密度和擁塞，而不必像其他方法一樣為這些功能定義近似值�！� 我們的公式不僅使新的成本函數(shù)在可用時(shí)易于集成，而且使我們能夠根據(jù)給定芯片塊的需求（例如有限的功耗）權(quán)衡它們的相對(duì)重要性。 “根據(jù)該論文，

的新領(lǐng)域自適應(yīng)策略不僅具有良好的效果，而且與零啟動(dòng)訓(xùn)練策略相比，其訓(xùn)練時(shí)間減少了八倍。

2.使用10000芯片布局訓(xùn)練模型

Google研究人員采用了 深度強(qiáng)化學(xué)習(xí)的方法，包括四個(gè)關(guān)鍵要素：狀態(tài)，動(dòng)作，狀態(tài)轉(zhuǎn)移和獎(jiǎng)勵(lì)；他們訓(xùn)練代理商通過(guò)最大化累積獎(jiǎng)勵(lì)來(lái)優(yōu)化籌碼布局；

在初始狀態(tài)下具有一個(gè)空籌碼畫(huà)布和一個(gè)未放置的網(wǎng)表，以及 最終狀態(tài)對(duì)應(yīng)于一個(gè)完全布局的網(wǎng)表，真正的回報(bào)是商業(yè)EDA工具的輸出，包括線(xiàn)長(zhǎng)，路由擁塞，復(fù)雜性，功率，時(shí)間和面積

代理在每個(gè)步驟中都布置一個(gè)宏。 所有宏均已布局，標(biāo)準(zhǔn)單元將采用強(qiáng)制定位方法放置，獎(jiǎng)勵(lì)是近似的行長(zhǎng)和擁塞的線(xiàn)性組合，計(jì)算得出的結(jié)果將傳遞給代理以?xún)?yōu)化 ts參數(shù)用于下一次迭代。

是因?yàn)閺?qiáng)化學(xué)習(xí)策略需要有效地學(xué)習(xí)100000個(gè)示例，因此獎(jiǎng)勵(lì)功能的評(píng)估速度必須非�？�，并且最好在幾毫秒內(nèi)運(yùn)行，并且這些類(lèi)似的獎(jiǎng)勵(lì)功能還必須與真實(shí)獎(jiǎng)勵(lì)具有正相關(guān)。 因此，研究人員定義了線(xiàn)長(zhǎng)和路由擁塞的近似成本函數(shù)，并通過(guò)加權(quán)和將多個(gè)目標(biāo)組合到單個(gè)獎(jiǎng)勵(lì)函數(shù)中。 根據(jù)論文的描述，Google研究人員提出了一種新的神經(jīng)網(wǎng)絡(luò)架構(gòu)，該架構(gòu)可以訓(xùn)練域自適應(yīng)策略的芯片布局。

訓(xùn)練這樣的策略網(wǎng)絡(luò)是一項(xiàng)具有挑戰(zhàn)性的任務(wù)，因?yàn)樗�有可能的芯片的狀態(tài)空間都很大。 此外，不同的網(wǎng)格表和網(wǎng)格尺寸可以具有非常不同的屬性，包括不同數(shù)量的節(jié)點(diǎn)，宏尺寸，圖形拓?fù)湟约爱?huà)布的寬度和高度。 為了應(yīng)對(duì)這些挑戰(zhàn)，研究人員首先關(guān)注于狀態(tài)空間的豐富表示。 它的直覺(jué)是，可以在芯片之間傳輸和優(yōu)化布局的戰(zhàn)略網(wǎng)絡(luò)體系結(jié)構(gòu)也應(yīng)該能夠在推理時(shí)將與未發(fā)現(xiàn)的芯片相關(guān)的新?tīng)顟B(tài)編碼為有意義的信號(hào)。 因此，對(duì)于

，Google研究人員建議訓(xùn)練一種神經(jīng)架構(gòu)，該架構(gòu)可以預(yù)測(cè)新網(wǎng)表的收益，生成輸入網(wǎng)表的豐富功能，然后將其用作其策略和價(jià)值網(wǎng)絡(luò)的編碼器，以支持遷移學(xué)習(xí)。

▲策略和價(jià)值網(wǎng)絡(luò)體系結(jié)構(gòu)

嵌入式層對(duì)要放置在當(dāng)前給定網(wǎng)絡(luò)表中的鄰接，節(jié)點(diǎn)特征和宏信息進(jìn)行編碼，然后策略網(wǎng)絡(luò)在可用的放置位置上輸出概率分布，而價(jià)值網(wǎng)絡(luò)則輸出 當(dāng)前放置位置的預(yù)期獎(jiǎng)勵(lì)估算。 實(shí)際上，在

中，上述代理從空芯片開(kāi)始依次布置組件，直到完成網(wǎng)絡(luò)表，直到代理波長(zhǎng)（與功率和性能有關(guān)）和擁塞的負(fù)加權(quán)總和為負(fù)。 為了指導(dǎo)座席選擇首先要布局的組件，將按照大小減小的順序?qū)�組件進(jìn)行排序。 首先布局較大的組件，這樣可以減少將來(lái)無(wú)法進(jìn)行可行布局的機(jī)會(huì)。 訓(xùn)練監(jiān)視模型的

需要?jiǎng)?chuàng)建一個(gè)包含10000個(gè)芯片布局的數(shù)據(jù)集，其中輸入是與給定布局相關(guān)的狀態(tài)，而標(biāo)簽是布局的獎(jiǎng)勵(lì)（即線(xiàn)長(zhǎng)和擁塞）。 研究人員首先選擇五個(gè)不同的芯片網(wǎng)表來(lái)構(gòu)建此數(shù)據(jù)集，然后使用AI算法為每個(gè)網(wǎng)表創(chuàng)建2000個(gè)不同的布局位置。 在實(shí)驗(yàn)的

中，合著者報(bào)告說(shuō)，當(dāng)他們?cè)诟�多芯片上�?xùn)練框架時(shí)，可以加快訓(xùn)練過(guò)程，并更快地產(chǎn)生高質(zhì)量的結(jié)果。

在三到六個(gè)小時(shí)內(nèi)生成芯片布局，支持遷移學(xué)習(xí)

。 在實(shí)驗(yàn)評(píng)估階段，研究人員關(guān)注以下幾個(gè)問(wèn)題：新方法是否使域轉(zhuǎn)移和從經(jīng)驗(yàn)中學(xué)習(xí)成為可能？ 預(yù)培訓(xùn)策略對(duì)結(jié)果質(zhì)量有何影響？ 與最先進(jìn)的基準(zhǔn)相比，生成的布局的質(zhì)量如何？

1.預(yù)訓(xùn)練策略?xún)?yōu)于零訓(xùn)練策略

下圖比較了使用預(yù)訓(xùn)練策略和從頭開(kāi)始策略所產(chǎn)生的設(shè)計(jì)質(zhì)量，包括零擊和調(diào)整預(yù)訓(xùn)練特定設(shè)計(jì)細(xì)節(jié)的結(jié)果 2到12個(gè)小時(shí)內(nèi)建立策略網(wǎng)絡(luò)。

▲域適應(yīng)結(jié)果

從圖中可以看出，預(yù)訓(xùn)練策略網(wǎng)絡(luò)總是比從零開(kāi)始訓(xùn)練的策略網(wǎng)絡(luò)更好，這證明了從離線(xiàn)訓(xùn)練數(shù)據(jù)中學(xué)習(xí)的有效性。 從零訓(xùn)練開(kāi)始的

策略網(wǎng)絡(luò)的收斂時(shí)間更長(zhǎng)，甚至24小時(shí)后的收斂效果也不如12小時(shí)后的微調(diào)策略網(wǎng)絡(luò)的收斂效果好，這表明權(quán)重和專(zhuān)家設(shè)計(jì)經(jīng)驗(yàn)對(duì) 在較短的時(shí)間內(nèi)實(shí)現(xiàn)更高質(zhì)量的新設(shè)計(jì)。

上圖顯示了從零開(kāi)始訓(xùn)練和從Ariane risc-v CPU預(yù)訓(xùn)練策略進(jìn)行網(wǎng)絡(luò)訓(xùn)練的收斂圖。 在微調(diào)過(guò)程開(kāi)始時(shí)，預(yù)訓(xùn)練策略網(wǎng)絡(luò)的布局成本較低，并且可以收斂到更低的成本，這比從零開(kāi)始的策略網(wǎng)絡(luò)快30多個(gè)小時(shí)。

2.較大的數(shù)據(jù)集可以產(chǎn)生更好的布局效果

訓(xùn)練數(shù)據(jù)集是由內(nèi)部TPU塊創(chuàng)建的，內(nèi)部TPU塊由各種塊組成，包括內(nèi)存子系統(tǒng)，計(jì)算單元和控制邏輯。 當(dāng)訓(xùn)練集從2個(gè)塊增加到5個(gè)塊，最后增加到20個(gè)塊時(shí)，零擊策略網(wǎng)絡(luò)和微調(diào)策略網(wǎng)絡(luò)可以同時(shí)產(chǎn)生更好的結(jié)果。

▲布局成本，微調(diào)時(shí)間和數(shù)據(jù)集大小之間的關(guān)系

研究人員在三種不同的訓(xùn)練數(shù)據(jù)集上對(duì)策略網(wǎng)絡(luò)進(jìn)行了預(yù)訓(xùn)練，其中小數(shù)據(jù)集是中型數(shù)據(jù)集的一部分，中型數(shù)據(jù)集 是大型數(shù)據(jù)集的子集，然后在同一測(cè)試塊上調(diào)整預(yù)訓(xùn)練策略網(wǎng)絡(luò)，并報(bào)告不同訓(xùn)練期間的成本。

隨著數(shù)據(jù)集大小的增加，布局質(zhì)量和測(cè)試塊的收斂時(shí)間得到了改善。 下圖顯示了在每個(gè)數(shù)據(jù)集上訓(xùn)練的策略的評(píng)估曲線(xiàn)。 對(duì)于小型訓(xùn)練數(shù)據(jù)集，策略網(wǎng)絡(luò)可以快速使訓(xùn)練數(shù)據(jù)和性能適合測(cè)試數(shù)據(jù)集； 對(duì)于最大的數(shù)據(jù)集，策略網(wǎng)絡(luò)需要更長(zhǎng)的時(shí)間來(lái)擬合，而在這個(gè)更大的數(shù)據(jù)集上，經(jīng)過(guò)預(yù)訓(xùn)練的策略網(wǎng)絡(luò)可以更好，更快地生成測(cè)試數(shù)據(jù)結(jié)果。

▲不同大小數(shù)據(jù)集的收斂（每個(gè)點(diǎn)都顯示了訓(xùn)練策略產(chǎn)生的布局成本）

這表明，如果策略網(wǎng)絡(luò)提供更多不同的芯片塊，則進(jìn)行預(yù)訓(xùn)練可能會(huì)花費(fèi)更長(zhǎng)的時(shí)間，策略網(wǎng)絡(luò)將變?yōu)?不容易過(guò)度匹配，并且更好地為新的未知塊找到最佳的布局位置。

3.可視芯片布局比較

下圖顯示了Ariane risc-v CPU的布局結(jié)果。 左側(cè)是零沖擊策略網(wǎng)絡(luò)的結(jié)果，而右側(cè)是微調(diào)策略網(wǎng)絡(luò)的結(jié)果。

的結(jié)果▲視覺(jué)布局

零射是在推理過(guò)程中在以前未見(jiàn)的芯片上生成的。 零鏡頭策略網(wǎng)絡(luò)將標(biāo)準(zhǔn)單元放置在畫(huà)布的中央，周?chē)�是宏，這與最佳布局非常接近。 微調(diào)后，宏位置變得更規(guī)則，中央的標(biāo)準(zhǔn)單元區(qū)域變得更不受干擾。

▲隨著訓(xùn)練的進(jìn)行，Ariane的布局（左邊是從一開(kāi)始的訓(xùn)練策略，右邊是芯片的預(yù)訓(xùn)練策略