還記得1999年的第一部矩陣電影嗎？ 當(dāng)時(shí)，很多人不明白為什么電影被命名為“矩陣”。 后來(lái)，電影被翻譯成“矩陣”，這也很難理解。 “矩陣”或“矩陣”代表什么意思或預(yù)言？ 在第一部矩陣電影

中，Neo被告知世界受矩陣控制，需要他拯救世界。 在接下來(lái)的兩部電影中，電影的標(biāo)題是第二部《黑客帝國(guó)重裝》和第三部《黑客帝國(guó)革命》。 如果將“矩陣”翻譯為“矩陣”，則很難與“重新加載矩陣”和“矩陣公轉(zhuǎn)”相對(duì)應(yīng)。

多年以后，當(dāng)人們開(kāi)始將矩陣系列電影與Ai Ai Ai關(guān)聯(lián)時(shí)，自然地將矩陣轉(zhuǎn)換為矩陣：矩陣計(jì)算是Ai Ai Ai的獨(dú)特計(jì)算方法，而Matrix Reloaded取代了現(xiàn)有的傳統(tǒng)計(jì)算 矩陣計(jì)算的新方法革命意味著當(dāng)矩陣計(jì)算開(kāi)始流行時(shí)，它將顛覆并取代傳統(tǒng)的計(jì)算模式。

實(shí)際上，人工智能和機(jī)器學(xué)習(xí)中最流行的算法是深度神經(jīng)網(wǎng)絡(luò)計(jì)算，其核心是非常大規(guī)模的矩陣計(jì)算。 矩陣計(jì)算的核心在于整數(shù)計(jì)算和并行計(jì)算。 傳統(tǒng)的非人工智能計(jì)算主要是浮點(diǎn)計(jì)算和帶小數(shù)點(diǎn)的串行計(jì)算，這是英特爾CPU芯片計(jì)算方法代表的當(dāng)前傳統(tǒng)。 眾所周知，CPU不適合人工智能計(jì)算。 具有并行計(jì)算能力的GPU首先用于處理人工智能計(jì)算，但其成本太高。 因此，許多高科技公司都開(kāi)發(fā)了自己的人工智能芯片。 隨著人工智能和機(jī)器學(xué)習(xí)計(jì)算的日益普及，矩陣計(jì)算正在取代傳統(tǒng)計(jì)算。 根據(jù)市場(chǎng)研究咨詢公司W(wǎng)ikibon的預(yù)測(cè)，企業(yè)在矩陣計(jì)算應(yīng)用中的投資和支出增長(zhǎng)迅速，到2030年將占企業(yè)計(jì)算支出的42％。

全文

在2020年3月，wikibon 發(fā)表了一篇長(zhǎng)篇研究文章：矩陣計(jì)算促進(jìn)了實(shí)時(shí)AI。 矩陣計(jì)算應(yīng)用程序的示例包括實(shí)時(shí)智能系統(tǒng)，實(shí)時(shí)分析，AI推理，機(jī)器人，自動(dòng)駕駛汽車(chē)和其他數(shù)據(jù)驅(qū)動(dòng)的實(shí)時(shí)或接近實(shí)時(shí)的AI示例。 Wikibon認(rèn)為，人工智能計(jì)算框架是促進(jìn)實(shí)時(shí)推理的重要驅(qū)動(dòng)力，而實(shí)時(shí)推理是典型的矩陣計(jì)算。 當(dāng)然，諸如高級(jí)分析，貝葉斯網(wǎng)絡(luò)，因果推理等其他技術(shù)也共同促進(jìn)了實(shí)時(shí)推理和其他矩陣計(jì)算應(yīng)用的應(yīng)用。

wikibon提出了關(guān)于矩陣計(jì)算的三個(gè)主要主題：

矩陣計(jì)算應(yīng)用程序可以幫助促進(jìn)更主動(dòng)的端到端數(shù)據(jù)策略，這些策略可以極大地簡(jiǎn)化和自動(dòng)化企業(yè)的業(yè)務(wù)流程。 通過(guò)端到端數(shù)據(jù)策略，精心設(shè)計(jì)的矩陣計(jì)算應(yīng)用程序可以帶來(lái)比傳統(tǒng)應(yīng)用程序高一個(gè)數(shù)量級(jí)的價(jià)值。 為了開(kāi)發(fā)和部署矩陣計(jì)算應(yīng)用程序，企業(yè)需要新的硬件和軟件架構(gòu)，技術(shù)和工具，這些可能來(lái)自消費(fèi)類(lèi)技術(shù)。 現(xiàn)在正在拍攝“矩陣4”的

，現(xiàn)在該學(xué)習(xí)矩陣計(jì)算了！

矩陣計(jì)算101

“矩陣”計(jì)算應(yīng)用程序主要由數(shù)據(jù)驅(qū)動(dòng)。 此類(lèi)數(shù)據(jù)的規(guī)模非常大，通常是并行計(jì)算，包括語(yǔ)音，圖像，視頻，雷達(dá)，超聲和任意數(shù)量的IOT設(shè)備。 人工智能是一項(xiàng)重要技術(shù)，可以幫助開(kāi)發(fā)矩陣計(jì)算應(yīng)用程序和任務(wù)。

我們不需要對(duì)神經(jīng)網(wǎng)絡(luò)算法有太多了解，只需要知道神經(jīng)網(wǎng)絡(luò)算法是基于矩陣表達(dá)式和矩陣乘法的，因?yàn)樗�涉及大量矩陣甚至是高維矩陣運(yùn)算 并且與其他非人工智能算法明顯不同。 人工智能算法分為兩個(gè)步驟：模型訓(xùn)練和推理預(yù)測(cè)。 在每個(gè)步驟中，使用一個(gè)或多個(gè)神經(jīng)網(wǎng)絡(luò)模型。 模型訓(xùn)練是使用帶有標(biāo)簽的高質(zhì)量數(shù)據(jù)作為輸入來(lái)計(jì)算神經(jīng)網(wǎng)絡(luò)的參數(shù)配置并形成模型。 推論是使用訓(xùn)練好的模型來(lái)計(jì)算新數(shù)據(jù)并得出結(jié)論。

如下圖所示。 AI模型的訓(xùn)練開(kāi)發(fā)通常分為數(shù)據(jù)工程和統(tǒng)計(jì)建模與訓(xùn)練，這兩者都是面向存儲(chǔ)的批處理計(jì)算任務(wù)，其中I / O通常是瓶頸。 基于結(jié)構(gòu)的Nvme NAND閃存可以降低I / O成本，并允許在一個(gè)計(jì)算位置中直接高效地連接多個(gè)大型數(shù)據(jù)源。 像pure這樣的公司已經(jīng)開(kāi)發(fā)了針對(duì)數(shù)據(jù)準(zhǔn)備和AI培訓(xùn)進(jìn)行了優(yōu)化的創(chuàng)新型私有云硬件平臺(tái)，而Dell，HPE和IBM則擁有專門(mén)的集成系統(tǒng)。

ai模型培訓(xùn)開(kāi)發(fā)需要間歇性的基本計(jì)算資源，因此非常適合“即服務(wù)”云產(chǎn)品。 Wikibon還指出，機(jī)器學(xué)習(xí)需要有效的高質(zhì)量數(shù)據(jù)。 沒(méi)有質(zhì)量和相關(guān)性的數(shù)量，它將導(dǎo)致“垃圾進(jìn)和垃圾出”。

：AI模型訓(xùn)練開(kāi)發(fā)需要高質(zhì)量的數(shù)據(jù)，而端到端的數(shù)據(jù)體系結(jié)構(gòu)確保了這一點(diǎn)。 但是，人工智能模型的訓(xùn)練和開(kāi)發(fā)不是實(shí)時(shí)的矩陣計(jì)算任務(wù)，實(shí)時(shí)的AI推理屬于矩陣計(jì)算。

推理是一項(xiàng)執(zhí)行計(jì)算任務(wù)。 推理通常受計(jì)算限制，并且需要靠近數(shù)據(jù)源以縮短執(zhí)行時(shí)間。 推理計(jì)算的瓶頸通常是內(nèi)存帶寬，它通常使用大量的SRAM來(lái)改善內(nèi)存中的計(jì)算工作流程。 推理計(jì)算的硬件是異構(gòu)的，可以大大提高并行度和完成速度。 當(dāng)前，異構(gòu)計(jì)算系統(tǒng)越來(lái)越多地用于部署深度神經(jīng)網(wǎng)絡(luò)和優(yōu)化推理。

實(shí)時(shí)推理是一種矩陣計(jì)算應(yīng)用程序。 到目前為止，推理是AI中計(jì)算最密集的部分。 AWS指出，超過(guò)95％的Alexa計(jì)算是推理計(jì)算。 Wikibon預(yù)測(cè)，到本十年末（2030年左右），這一比例將上升到99％。 端到端數(shù)據(jù)策略的要求之一是確保提供高質(zhì)量的相關(guān)數(shù)據(jù)以開(kāi)發(fā)推理應(yīng)用程序。

實(shí)時(shí)推理還意味著將矩陣計(jì)算移至邊緣。 實(shí)時(shí)還意味著必須將計(jì)算放置在非常接近數(shù)據(jù)生成的位置。 即使在幾英里之外，也沒(méi)有時(shí)間移動(dòng)數(shù)據(jù)。 Wikibon的早期研究表明，將計(jì)算遷移到邊緣的成本很高。 移動(dòng)數(shù)據(jù)的成本和上下文的丟失將導(dǎo)致數(shù)據(jù)質(zhì)量下降，這兩者都將導(dǎo)致計(jì)算的相當(dāng)一部分在未來(lái)十年內(nèi)走向邊緣。

是用于矩陣任務(wù)的異構(gòu)計(jì)算體系結(jié)構(gòu)。 矩陣計(jì)算任務(wù)具有大量要計(jì)算的矩陣數(shù)據(jù)。 傳統(tǒng)處理器無(wú)法勝任實(shí)時(shí)大規(guī)模矩陣計(jì)算，但部署一些具有不同有限指令集的并行加速器可以實(shí)時(shí)完成工作量。 因此，這意味著需要一種特殊的計(jì)算體系結(jié)構(gòu)來(lái)完成實(shí)時(shí)矩陣計(jì)算任務(wù)，這是異構(gòu)計(jì)算體系結(jié)構(gòu)。

異構(gòu)計(jì)算體系結(jié)構(gòu)由具有不同指令集的許多不同計(jì)算元素（處理器或內(nèi)核）組成。 這些元素可以包括通用處理器，GPU，NPU，ASIC，F(xiàn)PGA等。這些元素通常組合為soc（片上系統(tǒng)），例如消費(fèi)級(jí)Apple iPhone SOC。 主要優(yōu)點(diǎn)是它從根本上改善了性能并降低了功耗要求。 異構(gòu)系統(tǒng)的主要設(shè)計(jì)挑戰(zhàn)包括管理對(duì)內(nèi)存和數(shù)據(jù)的訪問(wèn)以及編程的復(fù)雜性。 稱為CXL的行業(yè)標(biāo)準(zhǔn)正在成為可能的高速CPU互連標(biāo)準(zhǔn)，這將加速解決方案的開(kāi)發(fā)。 簡(jiǎn)而言之，異構(gòu)計(jì)算

允許更高程度的并行計(jì)算和執(zhí)行速度，這非常適合矩陣計(jì)算任務(wù)。 Wikibon預(yù)計(jì)企業(yè)級(jí)異構(gòu)計(jì)算將在未來(lái)十年中快速增長(zhǎng)。

矩陣計(jì)算是一項(xiàng)新技術(shù)，該技術(shù)通常首先在大規(guī)模消費(fèi)領(lǐng)域中應(yīng)用，并將在幾年內(nèi)被企業(yè)采用。 一個(gè)很好的例子是x86技術(shù)，該技術(shù)已在以Intel x86硬件和Microsoft Windows軟件為主的消費(fèi)PC雙頭壟斷中使用。 X86的體積，低成本和先進(jìn)技術(shù)使英特爾擴(kuò)展到企業(yè)服務(wù)器領(lǐng)域，并在十年內(nèi)取代了大多數(shù)RISC服務(wù)器。 現(xiàn)在，x86占據(jù)了企業(yè)計(jì)算市場(chǎng)和不斷萎縮的PC市場(chǎng)的主導(dǎo)地位。

蘋(píng)果智能手機(jī)于2007年推出，并開(kāi)始將投資轉(zhuǎn)移到移動(dòng)設(shè)備上。 消費(fèi)設(shè)備的巨大數(shù)量和投資推動(dòng)了大多數(shù)硬件和軟件創(chuàng)新。 幾乎所有的移動(dòng)技術(shù)都在基于Arm的系統(tǒng)中實(shí)現(xiàn)，現(xiàn)在創(chuàng)建的基于Arm的芯片數(shù)量是任何其他移動(dòng)平臺(tái)的10倍。 這種創(chuàng)新來(lái)自蘋(píng)果，ARM，谷歌，NVIDIA，高通，三星和許多其他消費(fèi)類(lèi)硬件和軟件制造商。 消費(fèi)者矩陣計(jì)算在

消費(fèi)者移動(dòng)平臺(tái)上的應(yīng)用如火如荼：蘋(píng)果使用面部識(shí)別和神經(jīng)核來(lái)確保金融交易的安全性； 谷歌在Pixel 4智能手機(jī)中部署了神經(jīng)芯片，以改善圖像和語(yǔ)音處理能力。 他們倆都使用神經(jīng)網(wǎng)絡(luò)來(lái)實(shí)現(xiàn)實(shí)時(shí)拍照和視頻增強(qiáng)，改善語(yǔ)音識(shí)別，健康監(jiān)控等許多領(lǐng)域。 蘋(píng)果和谷歌都強(qiáng)調(diào)了神經(jīng)網(wǎng)絡(luò)的重要性，而GPU的重要性則要低得多。 這已迅速傳播到移動(dòng)應(yīng)用程序開(kāi)發(fā)人員，尤其是游戲應(yīng)用程序開(kāi)發(fā)人員。 隨著企業(yè)開(kāi)始使用實(shí)時(shí)矩陣計(jì)算應(yīng)用程序，相應(yīng)的開(kāi)發(fā)人員將成為重要的人才來(lái)源。 大量的消費(fèi)者開(kāi)發(fā)人員正在重新培訓(xùn)他們的技術(shù)。 因此，像專家一樣，在消費(fèi)領(lǐng)域快速擴(kuò)展的大型矩陣計(jì)算應(yīng)用程序中使用的技術(shù)和軟件可能會(huì)擴(kuò)展到企業(yè)領(lǐng)域。

案例研究：據(jù)

wikibon稱，實(shí)時(shí)矩陣計(jì)算的應(yīng)用將成為大多數(shù)高價(jià)值和有效的企業(yè)數(shù)字計(jì)劃的基礎(chǔ)。 業(yè)務(wù)優(yōu)勢(shì)將是物聯(lián)網(wǎng)的重要早期應(yīng)用領(lǐng)域。 由于使用MEMS技術(shù)，傳感器的價(jià)格直線下降，因此可以在邊緣提供大量的IOT數(shù)據(jù)。 實(shí)時(shí)矩陣計(jì)算將大大簡(jiǎn)化和自動(dòng)化邊緣工作流程。

Tesla（Tesla）是成功部署企業(yè)矩陣計(jì)算應(yīng)用程序的一個(gè)很好的例子。 該公司正在開(kāi)發(fā)一種自動(dòng)駕駛系統(tǒng)（ADS）。 廣告的商業(yè)目標(biāo)是改善電動(dòng)汽車(chē)的功能和利潤(rùn)率，并開(kāi)拓新的商機(jī)。 此示例顯示了軟件，硬件和端到端數(shù)據(jù)對(duì)在真實(shí)企業(yè)邊緣運(yùn)行的實(shí)時(shí)矩陣計(jì)算的影響。

ads的響應(yīng)時(shí)間，可靠性和準(zhǔn)確性可能比任何人類(lèi)駕駛員都要好得多。 交通中生死攸關(guān)的主要決定因素是數(shù)據(jù)和矩陣計(jì)算技術(shù)。 從長(zhǎng)遠(yuǎn)來(lái)看，廣告的出現(xiàn)將大大避免年度