每天產(chǎn)生這么多的視頻,頭條的存儲(chǔ)服務(wù)器得多大空間?會(huì)不會(huì)有存儲(chǔ)極限?:說(shuō)到云服務(wù)器最早是亞馬遜為了應(yīng)對(duì)全球的業(yè)務(wù),采購(gòu)了大量的云服務(wù)器基本上不是所有的
說(shuō)到云服務(wù)器最早是亞馬遜為了應(yīng)對(duì)全球的業(yè)務(wù),采購(gòu)了大量的云服務(wù)器基本上不是所有的服務(wù)器都能滿(mǎn)負(fù)荷的運(yùn)轉(zhuǎn),于是亞馬遜就產(chǎn)生了如何剩余的機(jī)器以及機(jī)器運(yùn)行負(fù)荷不是很高的情況下獲取一定的利益,這是最初云服務(wù)器最原始的需求,現(xiàn)在的云計(jì)算已經(jīng)成為了一種核心技術(shù),由于亞馬遜這個(gè)事情做的比較早,所以在這個(gè)行業(yè)的積累最長(zhǎng),從全球云計(jì)算的市場(chǎng)份額就可以看出來(lái),亞馬遜幾乎是壓倒性的優(yōu)勢(shì)占據(jù)著市場(chǎng)的主導(dǎo)地位。
微軟自從蓋茨離開(kāi)之后一直處于不溫不火的狀態(tài),自從涉足了云計(jì)算的業(yè)務(wù)直接把這個(gè)老牌企業(yè)拉到市值第一的位置,可見(jiàn)云計(jì)算在未來(lái)全球科技中占據(jù)多么重要的作用,谷歌也在云計(jì)算領(lǐng)域投入了大量的資源,國(guó)內(nèi)的阿里云依靠亞太市場(chǎng)整體的市場(chǎng)份額已經(jīng)能夠占據(jù)到全球前三的位置,而且排名在前三的云計(jì)算都是使用的完全自主研發(fā)的技術(shù),所以跟進(jìn)速度特別的快。
回到頭條的存儲(chǔ)服務(wù)器,可能和真正的云計(jì)算服務(wù)器還是存在一定的差距,依據(jù)頭條的實(shí)力未來(lái)也不排除在這方面發(fā)力,頭條的存儲(chǔ)服務(wù)器在2018年的時(shí)候已經(jīng)達(dá)到了17萬(wàn)臺(tái),聽(tīng)起來(lái)就是一個(gè)非?植赖臄(shù)字,而且這個(gè)數(shù)字還在一直增長(zhǎng),隨著頭條業(yè)務(wù)不斷的拓展未來(lái)在云上一定儲(chǔ)備一定的技術(shù),未來(lái)的頭條的設(shè)想不但但是信息流以及短視頻這么簡(jiǎn)單的事情,而且未來(lái)還將成為騰訊公司最大的競(jìng)爭(zhēng)對(duì)手,目前的騰訊公司是國(guó)內(nèi)的最大的流量企業(yè)畢竟像QQ和微信用戶(hù)使用量極其的巨大。
當(dāng)然在實(shí)際存儲(chǔ)過(guò)程中還會(huì)采用分布式的技術(shù),因?yàn)椴豢赡馨阉械臄?shù)據(jù)都集中在一個(gè)服務(wù)器,想要配套相應(yīng)的備份服務(wù)器,雖然服務(wù)器的數(shù)量已經(jīng)非常巨大,但是也需要大量的備份服務(wù)器,一個(gè)地方的服務(wù)器數(shù)據(jù)丟失了,還能繼續(xù)使用別的區(qū)域的服務(wù)器,早期的頭條公司經(jīng)常出現(xiàn)服務(wù)器宕機(jī)的情況,其中很大一個(gè)原因是服務(wù)器數(shù)量不夠,很快就達(dá)到負(fù)載極限,加上早期頭條公司研發(fā)能力不像現(xiàn)在這么強(qiáng)大,也代表一個(gè)企業(yè)在飛速的發(fā)展。
一般配置的服務(wù)器都是超標(biāo)配置,如果因?yàn)閿?shù)據(jù)空間不足,影響到用戶(hù)的體驗(yàn)就會(huì)顯得特別被動(dòng),所以頭條在經(jīng)歷了快速發(fā)展期之后就開(kāi)始大規(guī)模的部署服務(wù)器,當(dāng)然也包括很多存儲(chǔ)服務(wù)器,而且很多存儲(chǔ)服務(wù)器部署在分布式已經(jīng)被分割起來(lái),最終哪天頭條搞出來(lái)頭條云也不要太過(guò)于驚訝,畢竟如此巨量的服務(wù)器一直放在那邊,可以資源最大化的利用這應(yīng)該是頭條未來(lái)的一個(gè)重要的一個(gè)戰(zhàn)略點(diǎn),目前主要精力在于在全球范圍內(nèi)推廣自己的頭條產(chǎn)品矩陣,而且抖音的出海非常成功,未來(lái)科技企業(yè)戰(zhàn)略點(diǎn)還是在于核心技術(shù)的積累,頭條未來(lái)想要發(fā)展壯大必然也要走上這條道路,希望能幫到你。
淘寶、今日頭條等這些互聯(lián)網(wǎng)公司,大部分采用了分布式存儲(chǔ)方案,存儲(chǔ)空間可以彈性增加,自由擴(kuò)展,可以說(shuō)沒(méi)有存儲(chǔ)的極限。在介紹分布式存儲(chǔ)之前,首先說(shuō)一說(shuō)集中存儲(chǔ)。
一個(gè)中小型公司,大部分采用了集中存儲(chǔ)方式,也就是整個(gè)存儲(chǔ)集中到一個(gè)系統(tǒng)中,為了增加系統(tǒng)的可靠性,可能采用了兩地三中心的備份方案。集中存儲(chǔ)并不是一個(gè)獨(dú)立的設(shè)備,而是集中到一套系統(tǒng)中的多個(gè)設(shè)備。
集中存儲(chǔ)的架構(gòu)
集中存儲(chǔ)包含了很多組件,比如控制器、磁盤(pán)陣列、交換機(jī)等,還有管理設(shè)備等輔助設(shè)備,下圖顯示了一個(gè)集中式存儲(chǔ)的基本邏輯圖。
集中存儲(chǔ)的核心部件是機(jī)頭,包含了兩個(gè)控制器,互為備份,避免硬件故障導(dǎo)致整個(gè)存儲(chǔ)系統(tǒng)不可用?刂破鞣譃榍岸硕丝诤秃蠖硕丝,前端端口為服務(wù)器提供存儲(chǔ)服務(wù),后端端口用戶(hù)擴(kuò)充存儲(chǔ)容量,后端端口連接存儲(chǔ)設(shè)備,形成一個(gè)非常大的存儲(chǔ)資源池。
簡(jiǎn)單來(lái)說(shuō),集中式存儲(chǔ)最大的特點(diǎn)就是有一個(gè)統(tǒng)一的入口,所有的數(shù)據(jù)都要經(jīng)過(guò)整個(gè)入口,對(duì)應(yīng)存儲(chǔ)系統(tǒng)的機(jī)頭。
分布式存儲(chǔ)最早由谷歌提出,目的是通過(guò)廉價(jià)的服務(wù)器提供大規(guī)模、高并發(fā)場(chǎng)景下的應(yīng)用。下圖顯示了谷歌分布式存儲(chǔ)的簡(jiǎn)化模型,整個(gè)系統(tǒng)將服務(wù)器分為兩種類(lèi)型:namenode存儲(chǔ)管理數(shù)據(jù)(元數(shù)據(jù)),datanode負(fù)責(zé)實(shí)際數(shù)據(jù)的存儲(chǔ)。
讀取過(guò)程為,首先從namenode中獲取該文件的位置,然后從datanode中獲取具體數(shù)據(jù)。通過(guò)橫向擴(kuò)展datanode的數(shù)量,就可以增加承載容量,實(shí)現(xiàn)了動(dòng)態(tài)橫向擴(kuò)展的能力。
谷歌的分布式存儲(chǔ)架構(gòu),仍然有中心節(jié)點(diǎn),即負(fù)責(zé)管理元數(shù)據(jù)的namenode節(jié)點(diǎn)。
Ceph存儲(chǔ)架構(gòu)的分布式存儲(chǔ),完全沒(méi)有中心節(jié)點(diǎn),客戶(hù)端通過(guò)一個(gè)設(shè)備映射關(guān)系計(jì)算寫(xiě)入數(shù)據(jù)的位置,客戶(hù)端直接與存儲(chǔ)節(jié)點(diǎn)通信。Ceph存儲(chǔ)架構(gòu)如下圖所示。
在Ceph存儲(chǔ)架構(gòu)中,有Mon服務(wù)、OSD服務(wù)、MDS服務(wù)等?蛻(hù)端訪(fǎng)問(wèn)存儲(chǔ)設(shè)備的流程為:首先從Mon服務(wù)中讀取存儲(chǔ)資源布局信息,然后計(jì)算出期望的數(shù)據(jù)位置,包括物理服務(wù)器信息和磁盤(pán)信息,然后直接通信,讀取或者寫(xiě)入數(shù)據(jù)。
以上就是集中式存儲(chǔ)和分布式存儲(chǔ)的區(qū)別,大型的互聯(lián)網(wǎng)公司通常采用了去中心化的分布式存儲(chǔ)技術(shù),對(duì)存儲(chǔ)容量可以橫向擴(kuò)展,技術(shù)上來(lái)說(shuō)“永遠(yuǎn)存不滿(mǎn)”。
如果覺(jué)得對(duì)你有幫助,可以多多點(diǎn)贊哦,也可以隨手點(diǎn)個(gè)關(guān)注哦,謝謝。
很多朋友可能對(duì)于像阿里巴巴,騰訊,百度以及字節(jié)跳動(dòng)這樣的公司,這些公司每天存儲(chǔ)的數(shù)據(jù)量非常龐大,可以達(dá)到TB級(jí)別。但是他們給我們的感覺(jué)是,無(wú)論我們?cè)谶@些平臺(tái)中產(chǎn)生什么樣的內(nèi)容,多大的數(shù)據(jù)量,他們都能夠裝得進(jìn)去,好像他們的服務(wù)器容量是無(wú)限的。這是為什么呢?
其實(shí)對(duì)于技術(shù)感興趣的朋友可能會(huì)了解到,像這些公司他們一定使用的是一種叫做分布式存儲(chǔ)的技術(shù)方案。
分布式存儲(chǔ)
分布式存儲(chǔ)的技術(shù)思想其實(shí)在10多年前就已經(jīng)有了,這是因?yàn)楫?dāng)時(shí)的谷歌也面臨著存儲(chǔ)海量網(wǎng)頁(yè)的問(wèn)題,當(dāng)時(shí)他們?cè)趦?nèi)部試行了一套系統(tǒng),后來(lái)被證實(shí)是可用的。于是他們?cè)?010年,公開(kāi)發(fā)表了三篇論文,分別是Google big table、Google file system以及Google mapreduce。那么這其中的Google file system就是現(xiàn)如今各種分布式存儲(chǔ)方案的核心思想。
這張圖就展示了HDFS的一個(gè)版本,它就是一個(gè)分布式的文件存儲(chǔ)系統(tǒng)。我們可以看到,中間的每個(gè)namenode都有三個(gè)箭頭指向最下一層的datanode,這是什么意思呢?NameNode其實(shí)并不直接存儲(chǔ)數(shù)據(jù),直接存儲(chǔ)數(shù)據(jù)的是下面的三個(gè)datenote,也就是數(shù)據(jù)分片。而且我們要查詢(xún)數(shù)據(jù)的時(shí)候,也是從這些數(shù)據(jù)分片上把數(shù)據(jù)提取出來(lái),然后進(jìn)行整合反饋給我們這些用戶(hù),就這樣形成了一個(gè)閉環(huán)。
簡(jiǎn)單來(lái)說(shuō)就是在存儲(chǔ)數(shù)據(jù)的時(shí)候,不管是視頻、圖片還是文本內(nèi)容等等這些數(shù)據(jù),我們都可以把這些海量的數(shù)據(jù),將其進(jìn)行切分,然后放在不同的服務(wù)器中去存儲(chǔ)。因?yàn)槊恳粋(gè)datenode就代表一臺(tái)服務(wù)器,而且因?yàn)檎麄(gè)分布式的架構(gòu)又是高可用的,它可以橫向的無(wú)限拓展,那么也就意味著datanote可以拓展無(wú)限個(gè)。就這樣,通過(guò)分布式的一個(gè)思想,我們從技術(shù)層面解決了海量數(shù)據(jù)的存儲(chǔ)問(wèn)題。
字節(jié)跳動(dòng)海量數(shù)據(jù)的存儲(chǔ)
字節(jié)跳動(dòng)這家公司,其實(shí)在18年,它的服務(wù)器數(shù)量已經(jīng)達(dá)到了17萬(wàn)臺(tái),這些服務(wù)器可能分布在全國(guó)各個(gè)地方。那么發(fā)展到現(xiàn)在,我估計(jì)至少也有20多萬(wàn)臺(tái),正是由于這20對(duì)萬(wàn)臺(tái)服務(wù)器的不斷拓展,才支撐起今日頭條、抖音、西瓜視頻、火山小視頻、問(wèn)答等流行社交媒體產(chǎn)品線(xiàn)上的海量數(shù)據(jù)存儲(chǔ)。而對(duì)于我們用戶(hù)來(lái)說(shuō),我們每天發(fā)視頻,每天寫(xiě)文章上傳到字節(jié)跳動(dòng)的服務(wù)器,我們并沒(méi)有什么感覺(jué),原因就在這兒。
所以,只要服務(wù)器能夠不斷的橫向拓展,理論上來(lái)說(shuō),存儲(chǔ)是可以沒(méi)有上限的。
贈(zèng)人點(diǎn)贊,手留余香。我是小強(qiáng)Talk,歡迎大家關(guān)注我,和我一起共同成長(zhǎng)進(jìn)步!
我用實(shí)驗(yàn)來(lái)回答這個(gè)問(wèn)題。
以頭條系的西瓜視頻為例,這里,我就用我自己發(fā)的一個(gè)小視頻為例,時(shí)長(zhǎng)58s。
我們先來(lái)看看這個(gè)視頻有多大?用Chrome瀏覽器打開(kāi)視頻鏈接(防止平臺(tái)判定為廣告,我就不放鏈接了),按F12出現(xiàn)調(diào)試模式,可以看到整個(gè)頁(yè)面里圖片、js、css等各種元素文件的加載情況,包括這個(gè)元素所在的服務(wù)器IP地址、域名、類(lèi)型、以及我們所關(guān)注的文件大小。如下圖,瞅見(jiàn)沒(méi)?(有問(wèn)題私聊我)
如上圖所示,文件類(lèi)型為media,大小為1.5MB。
至此,我們得到答案,50s的視頻,大小為1.5MB。(實(shí)際上,受碼率和時(shí)長(zhǎng)影響可能會(huì)有波動(dòng),這里暫且算是個(gè)平均值)
接下來(lái)看第2個(gè)問(wèn)題。
在正式回答這個(gè)問(wèn)題之前,先來(lái)了解一下視頻的熱度。
視頻有冷熱之分,遵循“28”定律,即20%的熱門(mén)視頻吸引80%的用戶(hù)流量。
很顯然,熱門(mén)視頻是視頻網(wǎng)站方關(guān)注的重點(diǎn)(像我舉的這個(gè)例子,點(diǎn)擊量就很慘,妥妥的冷門(mén)資源)。
為了照顧用戶(hù)的訪(fǎng)問(wèn)感知,網(wǎng)站方一般會(huì)把熱門(mén)視頻復(fù)制多個(gè)副本,存放在多個(gè)服務(wù)器上。想象一下,最近有個(gè)熱門(mén)電視劇《慶余年》,如果沒(méi)有副本全國(guó)只有一個(gè)服務(wù)器,上億的用戶(hù)都來(lái)訪(fǎng)問(wèn)這個(gè)資源,大聲地告訴我,這個(gè)視頻卡不卡頓?答案是,不僅是卡,網(wǎng)站肯定癱瘓,拒絕訪(fǎng)問(wèn)。
這里就有個(gè)關(guān)鍵點(diǎn),即:熱門(mén)視頻會(huì)復(fù)制多份,冷門(mén)視頻可能只有1份。
那視頻所占的空間應(yīng)該是:?jiǎn)蝹(gè)視頻大小*副本份數(shù)。
那這個(gè)視頻有幾個(gè)副本呢?同樣實(shí)驗(yàn)走起:
點(diǎn)擊對(duì)應(yīng)視頻資源,查看header信息,如上圖所示,這個(gè)資源的域名是v1-default.ixigua.com,所在的服務(wù)器IP是223.111.19.3。
看不懂?別急。簡(jiǎn)單普及下,域名和IP存在對(duì)應(yīng)關(guān)系,這種對(duì)應(yīng)關(guān)系由DNS來(lái)完成(我的其他文章里有普及過(guò))。網(wǎng)站方的調(diào)度都是通過(guò)域名來(lái)調(diào)度的,而不是通過(guò)IP地址。為啥呢,一是IP多難記啊,一串?dāng)?shù)字;二是IP經(jīng)常變,而域名穩(wěn)定。
總之,記住一句話(huà),域名是網(wǎng)站方調(diào)度的最小單位。
那我們來(lái)看看這個(gè)域名對(duì)應(yīng)幾個(gè)服務(wù)器?記住一個(gè)命令nslookup:
這里我測(cè)試的網(wǎng)絡(luò)環(huán)境是江蘇移動(dòng)的網(wǎng)絡(luò),所以dns服務(wù)器是移動(dòng)的dns地址,數(shù)一下有多少個(gè)IP?一共13個(gè)。
至此,得出一個(gè)結(jié)論:我這個(gè)視頻在江蘇移動(dòng)網(wǎng)絡(luò)內(nèi)有13個(gè)副本。同樣電信可能也會(huì)有13個(gè),大家可以自行測(cè)試。
這里,我只想闡述一個(gè)副本數(shù)量的概念。具體容量大家可以自行估算一下。
很自然,會(huì)有第3個(gè)問(wèn)題:
同樣實(shí)驗(yàn)走起,我們看看這個(gè)Chrome抓包上能發(fā)現(xiàn)點(diǎn)啥?
看見(jiàn)沒(méi),有個(gè)jiangsuyidong Cdn字樣(我理解是,江蘇移動(dòng)CDN)。
沒(méi)錯(cuò),視頻是放在CDN網(wǎng)絡(luò)上承載的。
這里涉及一個(gè)CDN的概念,簡(jiǎn)單來(lái)講就是,網(wǎng)站方會(huì)把視頻內(nèi)容復(fù)制多個(gè)副本,放在多個(gè)CDN網(wǎng)絡(luò)節(jié)點(diǎn)中,在南京放一份,在蘇州也放一份。這樣一來(lái),南京的用戶(hù)就訪(fǎng)問(wèn)南京的節(jié)點(diǎn),蘇州的用戶(hù)就訪(fǎng)問(wèn)蘇州的節(jié)點(diǎn),互不干擾,確保用戶(hù)訪(fǎng)問(wèn)離自己最近的網(wǎng)絡(luò)服務(wù)器,這樣就保證了視頻不卡。
除了上面提到的江蘇移動(dòng)CDN,國(guó)內(nèi)還有網(wǎng)宿、華為、七牛云、金山云等CDN廠(chǎng)家。
通過(guò)我的抓包分析,今日頭條視頻(含抖音、西瓜視頻),分布在中國(guó)移動(dòng)、網(wǎng)宿、金山云、白山云、阿里云等CDN網(wǎng)絡(luò)承載。
其實(shí)在我看來(lái),儲(chǔ)存技術(shù)的發(fā)展,容量大小已不是關(guān)鍵問(wèn)題(看看各個(gè)網(wǎng)盤(pán)廠(chǎng)家動(dòng)不動(dòng)就送幾個(gè)T);帶寬問(wèn)題是影響網(wǎng)站方成本投入的重要因素。另外,最關(guān)鍵技術(shù)是網(wǎng)站方的視頻內(nèi)容如何與CDN廠(chǎng)家的承載網(wǎng)絡(luò)協(xié)同和調(diào)度。
誠(chéng)邀您關(guān)注,隨手一關(guān)注,一起聊聊互聯(lián)網(wǎng)那些事。
這個(gè)問(wèn)題問(wèn)的太笨了,連阿里、騰訊都還沒(méi)有叫喊存儲(chǔ)服務(wù)器的存儲(chǔ)極限,頭條比他們倆互聯(lián)網(wǎng)大佬晚成立很多年,這么點(diǎn)視頻文件,距離“極限”還早著呢。
你是不是以為頭條有視頻原創(chuàng)頻道,因?yàn)槎际蔷W(wǎng)友自制視頻上傳,所以皇帝不急太監(jiān)急,開(kāi)始替頭條擔(dān)心服務(wù)器存儲(chǔ)不夠用?那么視頻網(wǎng)站怎么玩的?谷歌旗下的 YouTube也基本上都是網(wǎng)友上傳的視頻,它成立于2005年,迄今已經(jīng)十四年了, YouTube也沒(méi)有擔(dān)心存儲(chǔ)服務(wù)器會(huì)不夠用啊。中國(guó)也有好幾個(gè)成立很早的視頻網(wǎng)站,優(yōu)酷、六間房、騰訊視頻、愛(ài)奇藝等,優(yōu)酷算是其中最早的大佬,成立于2006年,今天的它是和土豆網(wǎng)合并的規(guī)模,雖然它有購(gòu)買(mǎi)影視劇,但網(wǎng)友自制上傳的視頻應(yīng)該是占比最大的,這么多年它也沒(méi)有叫喊存儲(chǔ)服務(wù)器有極限——
回到問(wèn)題上來(lái),頭條創(chuàng)建于2012年,迄今才七年,它的用戶(hù)規(guī)模實(shí)力真正開(kāi)始進(jìn)入到可以叫板騰訊,可能只有三、四年,所以我想你暫時(shí)是不需要為頭條擁有的存儲(chǔ)空間擔(dān)心的,至于未來(lái),網(wǎng)站存儲(chǔ)和我們電腦存儲(chǔ)一樣,可以擴(kuò)展啊,我以前只是電腦一個(gè)硬盤(pán),最大1T、2T,可現(xiàn)在我購(gòu)買(mǎi)了一個(gè)外置硬盤(pán)柜,插了四個(gè)硬盤(pán),我現(xiàn)在總共有將近十個(gè)T的存儲(chǔ)空間。網(wǎng)站也可以如此,可以擴(kuò)展,所謂網(wǎng)站的數(shù)據(jù)中心,像谷歌那樣的世界級(jí)互聯(lián)網(wǎng)公司,是在全世界各地建造數(shù)據(jù)中心,尤其在北歐那里,那里寒冷,數(shù)據(jù)中心可以依靠自然界的氣溫進(jìn)行降溫,成本節(jié)省不少。中國(guó)的貴州有一陣子報(bào)道很多公司都在那里建立數(shù)據(jù)中心,據(jù)說(shuō)也是那里的自然條件適合建造數(shù)據(jù)中心。所以,大體上可以這樣下結(jié)論,無(wú)論個(gè)人玩電腦還是互聯(lián)網(wǎng)公司玩網(wǎng)站,鈔票可能有極限,存儲(chǔ)空間不存在極限,前者靠賺,不容易,所以有極限,后者靠鈔票去投入,只要有錢(qián),你可以無(wú)限制的擴(kuò)展你的數(shù)據(jù)中心。
問(wèn)題:每天產(chǎn)生這么多的視頻,頭條的存儲(chǔ)服務(wù)器得多大空間?會(huì)不會(huì)有存儲(chǔ)極限?
回答:今日頭條系的服務(wù)器,2018年的時(shí)候已經(jīng)超過(guò)了17萬(wàn)臺(tái)了,2019年或者是2020年肯定是更加高。
大型的互聯(lián)網(wǎng)企業(yè)例如阿里、騰訊、今日頭條等企業(yè)都是采用分布式的數(shù)據(jù)中心。這些數(shù)據(jù)中心可以分布在不同的城市。例如阿里就在貴州等不同的城市都有數(shù)據(jù)中心的分布。
而且,越是大型的企業(yè)就會(huì)購(gòu)買(mǎi)越多的服務(wù)器,并且興起更多的數(shù)據(jù)中心,第一個(gè)是因?yàn)樗麄冃枨蠛芏嗟臄?shù)據(jù)中心來(lái)滿(mǎn)足企業(yè)和用戶(hù)的需求;第二個(gè)是因?yàn)樗麄冞會(huì)做備份和后備的,一旦一個(gè)數(shù)據(jù)中心出現(xiàn)問(wèn)題就會(huì)在幾毫秒之內(nèi)自動(dòng)切換到另外一個(gè)數(shù)據(jù)中心,保持企業(yè)運(yùn)轉(zhuǎn)。
所以,他們有數(shù)十萬(wàn)甚至更多的服務(wù)器也是正常的。
理論上即使是分布式的設(shè)計(jì),都會(huì)存在極限的。但是這個(gè)極限非常大,幾乎沒(méi)有可能達(dá)到。
你要知道,他們采用分布式的數(shù)據(jù)中心設(shè)計(jì),可以根據(jù)需求,興建數(shù)據(jù)中心,然后購(gòu)買(mǎi)服務(wù)器并且重新它的數(shù)據(jù)中心,能夠大規(guī)模的橫向增加服務(wù)器,只有成本能夠承受得起就不用擔(dān)心服務(wù)器不夠用的問(wèn)題。
甚至有一些企業(yè),例如百度、阿里、騰訊、華為這些甚至還會(huì)賣(mài)云服務(wù),他們擁有大量的云資源可以給小企業(yè)使用。
因?yàn)橛杏布O(shè)備的限制,所以任何服務(wù)器都是有極限的,但是作為互聯(lián)網(wǎng)企業(yè)的命根子,企業(yè)絕對(duì)不會(huì)讓自己的服務(wù)器觸及到這個(gè)極限,實(shí)際上一個(gè)業(yè)務(wù)做得大的互聯(lián)網(wǎng)企業(yè),自然在服務(wù)器數(shù)據(jù)管理方面也需要做得比較好,不然業(yè)務(wù)是沒(méi)辦法正常開(kāi)展的。
比如谷歌,它的接入的是全球的數(shù)據(jù),毫無(wú)疑問(wèn)每天產(chǎn)生的數(shù)據(jù)量異常大,但是也也沒(méi)聽(tīng)過(guò)其到達(dá)服務(wù)器承載量上限的說(shuō)法,那是因?yàn)樗谌珖?guó)各地分布有數(shù)據(jù)中心,其中僅位于洛華州康斯?fàn)柌祭蛩故械臄?shù)據(jù)中心面積空間就超過(guò)115000平方英尺。
這樣一對(duì)比下來(lái),似乎頭條在數(shù)據(jù)的處理方面就顯得沒(méi)那么艱難了。實(shí)際上,作為字節(jié)跳動(dòng)旗下的重要產(chǎn)品,今日頭條、抖音等接受著字節(jié)跳動(dòng)超17萬(wàn)臺(tái)服務(wù)器的硬實(shí)力支撐,這個(gè)體量在國(guó)內(nèi)甚至國(guó)際上也是相當(dāng)大的。
和谷歌的數(shù)據(jù)中心類(lèi)似,字節(jié)跳動(dòng)等大型互聯(lián)網(wǎng)企業(yè)的網(wǎng)絡(luò)一般可以分為數(shù)據(jù)中心內(nèi)部網(wǎng)絡(luò)和WAN網(wǎng),它們的數(shù)據(jù)中心會(huì)分布在全國(guó)各個(gè)城市,甚至是海外各個(gè)城市,各個(gè)數(shù)據(jù)中心又分別和運(yùn)營(yíng)商的網(wǎng)絡(luò)進(jìn)行對(duì)接,這樣就避免了所有的業(yè)務(wù)積壓在同一個(gè)數(shù)據(jù)中心,有效分?jǐn)偭司薮蟮臄?shù)據(jù)壓力。
企業(yè)也可以根據(jù)業(yè)務(wù)的擴(kuò)張,更加靈活地發(fā)展各地的數(shù)據(jù)服務(wù)分中心,所以從這個(gè)角度看,今日頭條的數(shù)據(jù)中心也可以說(shuō)是沒(méi)有存儲(chǔ)極限的。
根據(jù)流量的方向,我們又可以將WAN網(wǎng)分為內(nèi)網(wǎng)和外網(wǎng)。
內(nèi)網(wǎng)是各個(gè)數(shù)據(jù)中心之間互聯(lián)的網(wǎng)絡(luò),用來(lái)連接互聯(lián)網(wǎng)企業(yè)在地理上分布的多個(gè)數(shù)據(jù)中心,我們可以通俗地理解為各個(gè)數(shù)據(jù)中心互聯(lián)的專(zhuān)屬網(wǎng)絡(luò)。而外網(wǎng)則是面向互聯(lián)網(wǎng)用戶(hù)訪(fǎng)問(wèn)的網(wǎng)絡(luò),用來(lái)提供面向用戶(hù)的各種云服務(wù),比如搜索、視頻、文字資訊、下載支持等等。
字節(jié)跳動(dòng)的數(shù)據(jù)中心擴(kuò)張速度很快從2017年年初的2、3萬(wàn)臺(tái),到截至去年年底的17萬(wàn)臺(tái),這樣的速度和規(guī)模確實(shí)非常讓人驚訝。系列新技術(shù)的應(yīng)用也為字節(jié)跳動(dòng)取得了多個(gè)國(guó)內(nèi)“首個(gè)”的頭銜,國(guó)內(nèi)首個(gè)大規(guī)模分布式全預(yù)制、國(guó)內(nèi)首個(gè)大平層預(yù)制框架結(jié)構(gòu)、國(guó)內(nèi)首個(gè)整體電源模塊預(yù)制、國(guó)內(nèi)首個(gè)間接蒸發(fā)自然冷卻模塊、國(guó)內(nèi)首個(gè)計(jì)算模塊一體化預(yù)制……
這些硬核的實(shí)力便是今日頭條得以有效處理每日產(chǎn)生的巨大的數(shù)據(jù)信息的秘密。
當(dāng)然了,數(shù)據(jù)儲(chǔ)存只是數(shù)據(jù)服務(wù)中心的重要作用之一,字節(jié)跳動(dòng)的數(shù)據(jù)處理能力在眾多互聯(lián)網(wǎng)企業(yè)里面也是名列前茅的。推薦系統(tǒng)和審核系統(tǒng)是使字節(jié)跳動(dòng)在眾多資訊平臺(tái)中脫穎而出的關(guān)鍵,這個(gè)關(guān)鍵讓其不再只是簡(jiǎn)單的新媒體資訊平臺(tái),而是為其融入了更多的AI含義,這一切得益于數(shù)據(jù)中心先進(jìn)的處理分析技術(shù)。
字節(jié)跳動(dòng)取得的成績(jī),從小的方面說(shuō),豐富了我們的精神娛樂(lè)生活,從大的方面說(shuō),展現(xiàn)了中國(guó)互聯(lián)網(wǎng)發(fā)展市場(chǎng)的潛力,同時(shí)也意味著中國(guó)數(shù)據(jù)中心技術(shù)的進(jìn)步。
很高興回答你的問(wèn)題我是林創(chuàng)云小編,如果我的回答對(duì)你有幫助歡迎給我評(píng)論留言或者點(diǎn)贊加個(gè)關(guān)注!
像這種資訊巨頭公司,存儲(chǔ)數(shù)據(jù)都是用成千上萬(wàn)個(gè)超大規(guī)模的存儲(chǔ)集群再加上一系列復(fù)雜的技術(shù)整合的一整套系統(tǒng),不存在容量不夠,都是彈性伸縮。
今日頭條使用MySQL或Mongo持久化存儲(chǔ)+Memched(Redis),分了很多庫(kù)(一個(gè)大內(nèi)存庫(kù)),亦嘗試使用了SSD的產(chǎn)品。
今日頭條的圖片存儲(chǔ),都是直接把地址放在數(shù)據(jù)庫(kù)中,分布式保存文件,讀取的時(shí)候采用CDN調(diào)取。
你問(wèn)得這個(gè)問(wèn)題就好像我小時(shí)候總覺(jué)得地球會(huì)不會(huì)爆炸一個(gè)道理?不該你想的,你想那么多干嘛?
早在1988年就已經(jīng)出現(xiàn)了彈性存儲(chǔ)的超級(jí)計(jì)算機(jī)。而現(xiàn)在都2019年了,對(duì)于存儲(chǔ)來(lái)說(shuō),從技術(shù)來(lái)講簡(jiǎn)直就是小兒科。普通用戶(hù)只要花點(diǎn)錢(qián)都能馬上搭建自己的云存儲(chǔ)服務(wù)器。更別說(shuō)像頭條這樣人才濟(jì)濟(jì)的科技公司了。頭條有自己的服務(wù)器集群,在全國(guó)各地都有部署節(jié)點(diǎn)。有專(zhuān)門(mén)的工程師維護(hù)。只要頭條砸錢(qián),存儲(chǔ)就不會(huì)有瓶頸。頭條這么大的用戶(hù)量每天都會(huì)產(chǎn)生海量的數(shù)據(jù),肯定用上最新的存儲(chǔ)解決方案,各種彈性存儲(chǔ),分布式存儲(chǔ)都會(huì)用上。所以存儲(chǔ)空間是不會(huì)有上限的。一直砸錢(qián),一直收錢(qián),頭條生生不息。
現(xiàn)在都是云存儲(chǔ),云計(jì)算時(shí)代了。國(guó)內(nèi)這么多云服務(wù)提供商。假如頭條的服務(wù)器全部滿(mǎn)了,頭條的工程師全部跑路了,也能通過(guò)云服務(wù)商提供存儲(chǔ)服務(wù)。砸錢(qián)就行。
所以這個(gè)問(wèn)題不是你該考慮的,只要頭條還有錢(qián),存儲(chǔ)就不會(huì)有問(wèn)題。你還是多考慮一下下個(gè)月的花唄如何還吧。
華裔女賭王就此沒(méi)落,生前讓所有 濃情端午粽飄香,青浦邀你“云體 上海:“云端”展現(xiàn)端午節(jié)文化內(nèi) “甜咸大戰(zhàn)”!明星藝人們喜歡什 如何做一個(gè)男人喜歡的情人(如何 當(dāng)你和你同時(shí)出現(xiàn)在同一個(gè)場(chǎng)景中 如何在昏暗的光線(xiàn)下設(shè)置快門(mén)速度 教育在生活中的價(jià)值是什么? 世上做壞事的人死后會(huì)面臨什么因 拜登就任總統(tǒng)后的第一步是什么? 同意/不同意:人生最重要的目標(biāo) 二戰(zhàn)后,德國(guó)在調(diào)和分歧方面做得 亞伯·林肯恨白人嗎? 一個(gè)編輯能把你的故事毀得有多嚴(yán) 現(xiàn)在的iPhone6還能堅(jiān)持再用一年 曹操為什么不殺司馬懿? 現(xiàn)在買(mǎi)房是不是最便宜的時(shí)候,現(xiàn) 我身邊的農(nóng)業(yè)銀行營(yíng)業(yè)廳關(guān)了,AT 歐洲媒體評(píng)選CBA最有實(shí)力球員, 榮耀play的6+128和榮耀8X的6+128 螞蟻集團(tuán)是科技公司還是金融公司 請(qǐng)問(wèn)機(jī)友華為mate30P與華為mate3 聽(tīng)說(shuō)老詹修剪一次指甲需要5小時(shí) 為什么說(shuō)寶寶“一月睡二月哭三月 戴笠人稱(chēng)戴老板,這個(gè)是怎么叫出 沒(méi)有工作能一次性補(bǔ)繳社保么? 我想知道定向師范生和免費(fèi)師范生 肺癌引起的咳嗽是怎樣的呢? 5000mAh電池的5G手機(jī)推薦嗎?要 恒大亞冠表現(xiàn)“差強(qiáng)人意”,你覺(jué)