在互聯(lián)網(wǎng)時(shí)代，尤其是社交網(wǎng)絡(luò)、電子商務(wù)與移動(dòng)通信把人類社會(huì)帶入一個(gè)PB級(jí)別以上單位的結(jié)構(gòu)與非結(jié)構(gòu)信息的大數(shù)據(jù)時(shí)代。數(shù)據(jù)量的爆發(fā)性增長(zhǎng)，使企業(yè)IT架構(gòu)不斷擴(kuò)展，服務(wù)器、存儲(chǔ)設(shè)備的數(shù)量越來(lái)越多，網(wǎng)絡(luò)也變得更加復(fù)雜。而大數(shù)據(jù)的4V特征，數(shù)據(jù)量大(Volume)、 類型繁多(Variety) 、價(jià)值密度低(Value)、時(shí)效高(Velocity) 也使得傳統(tǒng)的技術(shù)架構(gòu)和路線，已經(jīng)難以高效地處理如此海量的數(shù)據(jù)�？梢哉f(shuō)，大數(shù)據(jù)時(shí)代對(duì)企業(yè)的數(shù)據(jù)駕馭能力提出了新的挑戰(zhàn)。尤其是大數(shù)據(jù)平臺(tái)往往支撐著公司的搜索、推薦、廣告等核心業(yè)務(wù)，為了保障良好的用戶體驗(yàn)和業(yè)務(wù)效果，運(yùn)維工作顯得十分艱巨。相比于傳統(tǒng)的運(yùn)維方式，大數(shù)據(jù)時(shí)代的運(yùn)維面臨著集群規(guī)模更大、業(yè)務(wù)組件更多、監(jiān)控可視化與智能化更為復(fù)雜等諸多難題。

我們知道，在互聯(lián)網(wǎng)初期，大部分應(yīng)用程序跑在少量的服務(wù)器上，網(wǎng)絡(luò)帶寬很小，存儲(chǔ)量也很小，這個(gè)時(shí)候的運(yùn)維更多的是解決類似于組網(wǎng)、操作系統(tǒng)等機(jī)房建設(shè)問(wèn)題，應(yīng)用的上線部署可以由開(kāi)發(fā)工程師來(lái)完成，運(yùn)維的工作職責(zé)沒(méi)有那么明顯。隨后互聯(lián)網(wǎng)進(jìn)入高速發(fā)展期，數(shù)據(jù)規(guī)模從GB到TB再到PB級(jí)別，在存儲(chǔ)量上超過(guò)千倍增長(zhǎng)，在計(jì)算規(guī)模上可能也遠(yuǎn)遠(yuǎn)超過(guò)千倍增長(zhǎng)，傳統(tǒng)的通過(guò)單節(jié)點(diǎn)來(lái)存儲(chǔ)和計(jì)算超過(guò)PB級(jí)別的數(shù)據(jù)已經(jīng)比較困難，分布式集群的方式已經(jīng)成為標(biāo)準(zhǔn)的解決方案。分布式系統(tǒng)在存儲(chǔ)上解訣了大規(guī)模數(shù)據(jù)單機(jī)無(wú)法承載的問(wèn)題，同時(shí)在計(jì)算上解決了單機(jī)CPU或者內(nèi)存等資源無(wú)法完全滿足的問(wèn)題，但是同時(shí)也帶來(lái)了很多運(yùn)維難題，諸如統(tǒng)一上線部署、 大規(guī)模機(jī)器管理、降級(jí)、容災(zāi)、數(shù)據(jù)同步等。從數(shù)據(jù)規(guī)模到機(jī)器規(guī)模的擴(kuò)大，傳統(tǒng)的運(yùn)維方式和方法已經(jīng)不能滿足產(chǎn)品快速迭代的要求，智能運(yùn)維在這樣的場(chǎng)景下應(yīng)運(yùn)而生。 智能運(yùn)維是建立在運(yùn)維基礎(chǔ)上，通過(guò)一定策略和算法來(lái)進(jìn)行智能化診斷決策，以更快、更準(zhǔn)確、更高效地完成運(yùn)維工作的技術(shù)體系。要實(shí)現(xiàn)智能運(yùn)維的目標(biāo)，需要有平臺(tái)支撐，這也是DevOps很火的原因，很多運(yùn)維工程師都掌握了開(kāi)發(fā)工具和平臺(tái)的本領(lǐng)，因此建立了高效的自動(dòng)化運(yùn)維平臺(tái)。所以說(shuō)智能運(yùn)維是運(yùn)維發(fā)展的高級(jí)階段，也是互聯(lián)網(wǎng)時(shí)代發(fā)展到一定階段的產(chǎn)物。 智能運(yùn)維的基礎(chǔ)是建立在大規(guī)模數(shù)據(jù)分析和計(jì)算之上，當(dāng)數(shù)據(jù)量很小時(shí)，我們甚至可以人工判斷和決策，一旦數(shù)據(jù)達(dá)到一定規(guī)模，大數(shù)據(jù)涉及的所有技術(shù)就都會(huì)成為智能運(yùn)維所依賴的技術(shù)。一方面，可以說(shuō)智能運(yùn)維是一種新型技術(shù)， 因?yàn)樗鼜牧硪粋�(gè)視角去看待運(yùn)維，對(duì)傳統(tǒng)運(yùn)維進(jìn)行了創(chuàng)新和升華;另一方面，也可以說(shuō)智能運(yùn)維是一種經(jīng)典技術(shù)，它是一系列成熟技術(shù)的結(jié)合體， 它融入了運(yùn)維技術(shù)、大數(shù)據(jù)、傳統(tǒng)機(jī)器學(xué)習(xí)技術(shù)、機(jī)器學(xué)習(xí)、深度學(xué)習(xí)等方方面面的技術(shù)。 那么在大數(shù)據(jù)時(shí)代應(yīng)該如何做好運(yùn)維?我覺(jué)得有三個(gè)方面。 一是基礎(chǔ)設(shè)施平臺(tái)化，大數(shù)據(jù)的4V特性，相比于傳統(tǒng)的系統(tǒng)運(yùn)維，數(shù)據(jù)的處理框架變得更為多樣化和復(fù)雜化，這要求我們必須夯實(shí)基礎(chǔ)設(shè)施才能事半功倍。比如多源異構(gòu)海量數(shù)據(jù)的分布式存儲(chǔ)、離線批處理、高性能索引、大規(guī)模流數(shù)據(jù)處理，以及可視化監(jiān)控與報(bào)警平臺(tái)等。 二是集群管理自動(dòng)化，降低運(yùn)維復(fù)雜度。自動(dòng)化能夠提升穩(wěn)定性，固化的操作交給機(jī)器去做，可以降低人為操作失誤，提高線上的穩(wěn)定性;自動(dòng)化還能極大地提高效率，將運(yùn)維人員從日常煩瑣的操作中解放出來(lái)，把更多的時(shí)間投入到運(yùn)維平臺(tái)迭代優(yōu)化上，從而更好地為業(yè)務(wù)運(yùn)營(yíng)服務(wù)。 三是運(yùn)維決策智能化，充分利用大數(shù)據(jù)分析技術(shù)提升預(yù)測(cè)、發(fā)現(xiàn)和自動(dòng)檢測(cè)的能力，預(yù)測(cè)分配資源，動(dòng)態(tài)伸縮集群，實(shí)現(xiàn)智能預(yù)警，自動(dòng)修復(fù)，最大化利用資源，減少開(kāi)銷。