每天有那么多人在朋友圈發(fā)視頻和照片,騰訊的服務(wù)器要多大才能全部?jī)?chǔ)存?這是如何實(shí)現(xiàn)的?:其實(shí)這是一個(gè)技術(shù)類的問題,作為了一個(gè)寫了多年代碼的程序員來嘗試回
其實(shí)這是一個(gè)技術(shù)類的問題,作為了一個(gè)寫了多年代碼的程序員來嘗試回答這個(gè)問題,從微信功能發(fā)展的趨勢(shì)看,早期在微信還沒有這么大規(guī)模被使用的時(shí)候圖片以及視頻幾乎都是一直存儲(chǔ)在騰訊云服務(wù)器上,但隨著數(shù)據(jù)量的增加騰訊開始在產(chǎn)品策略上做了調(diào)整,也就是將只要是超過一段時(shí)間之后很多文件或者圖片就失效了,因?yàn)槭畮變|人的個(gè)人數(shù)據(jù)太過龐大,不可能全部給保留下來。
解決個(gè)人數(shù)據(jù)問題,最直接的解決方案就是不停的拓展硬盤空間。即使如騰訊這種巨頭公司也不可能無(wú)休止在增加服務(wù)器的數(shù)量,所以肯定需要在產(chǎn)品策略上做一些優(yōu)化,最簡(jiǎn)單的就是個(gè)人數(shù)據(jù)到了一定的期間失效,雖然很多人覺得體驗(yàn)不好,但無(wú)休止的增加空間始終會(huì)達(dá)到極限值。關(guān)于個(gè)人數(shù)據(jù)的存儲(chǔ)方面在國(guó)內(nèi)主要是云盤,現(xiàn)在的云盤主要百度還在堅(jiān)持,因?yàn)檫@種屬于吃力不討好的事情,因?yàn)樵票P需要耗費(fèi)大量的物理資源,像360云盤因?yàn)槭冀K無(wú)法盈利已經(jīng)取消掉了,微信本身數(shù)據(jù)的存儲(chǔ)也類似于云盤的方式,對(duì)于服務(wù)器是一種極大的挑戰(zhàn)。
數(shù)據(jù)采用分布式存儲(chǔ)方式。由于數(shù)據(jù)量巨大數(shù)據(jù)會(huì)分散保存在就近的服務(wù)器,這樣子還能保證數(shù)據(jù)的安全性,如果數(shù)據(jù)都放在一個(gè)區(qū)域如果出現(xiàn)被攻擊就意味著數(shù)據(jù)被破壞,而且還很難被尋找回來,騰訊早期曾經(jīng)遭遇過很多黑客的攻擊,分布式的框架也是在被攻擊中慢慢完善起來的,分布式有個(gè)好處,如果多處的數(shù)據(jù)被破壞,只要還保留著一個(gè)服務(wù)器堆,整個(gè)系統(tǒng)還能繼續(xù)運(yùn)轉(zhuǎn),各個(gè)服務(wù)器之間通過高效的算法串聯(lián)起來,互相依托但又互相獨(dú)立。大型的互聯(lián)網(wǎng)公司幾乎都采用了這種方式,包括之前的QQ也是這種架構(gòu),只要有一個(gè)點(diǎn)是安全正常的,就不影響用戶使用。
圖片數(shù)據(jù)傳輸過程中默認(rèn)已經(jīng)是減小了分辨率。很多人覺得圖片經(jīng)過微信傳輸之后分辨率就變低了,最主要原因是騰訊公司為了節(jié)省存儲(chǔ)空間,但可以選擇原圖傳輸,不要小看一個(gè)簡(jiǎn)單的功能,因?yàn)樵谖⑿胖袌D片的傳輸概率非常高,是占據(jù)數(shù)據(jù)存儲(chǔ)空間中非常重要的一項(xiàng)功能,就這么簡(jiǎn)單的一個(gè)操作就能給騰訊公司節(jié)省N多的服務(wù)器資源。
選擇性的數(shù)據(jù)存儲(chǔ)。不是所有的數(shù)據(jù)都要進(jìn)服務(wù)器保存的,有一些公用的數(shù)據(jù)不會(huì)重復(fù)保存的,只要MD5校驗(yàn)數(shù)據(jù)數(shù)值都一樣的情況下,保證數(shù)據(jù)只保存一份,這樣節(jié)省很多存儲(chǔ)空間這點(diǎn)和云盤數(shù)據(jù)的保存有一定的相似之處,而且有些數(shù)據(jù)只是保存在本地,所以在換個(gè)手機(jī)再去登錄微信只是能看到保留的部分內(nèi)容,有些數(shù)據(jù)已經(jīng)在服務(wù)器上沒有保留了,這是屬于典型的選擇性儲(chǔ)存的方式。
從以后的發(fā)展趨勢(shì)看,云計(jì)算的重要性越來越高,而且微信本身就需要一個(gè)非常的云系統(tǒng)支撐,除了保證數(shù)據(jù)的準(zhǔn)確性,還要保持?jǐn)?shù)據(jù)的安全性不被攻擊,騰訊公司安全攻防能力是在3Q大戰(zhàn)之后全面得到提升的,社交軟件除數(shù)據(jù)的安全穩(wěn)定之外,就是數(shù)據(jù)的不被劫持攻擊的事情了。
未來越來越多的數(shù)據(jù)都會(huì)集中在云上,但不是一味的數(shù)據(jù)的堆積需要大總量的數(shù)據(jù)管理,目前國(guó)內(nèi)在云計(jì)算領(lǐng)域阿里云算是走在前面,另外的幾個(gè)國(guó)內(nèi)巨頭也在積極部署這塊的業(yè)務(wù),而且還會(huì)切入到智能家居等方面的業(yè)務(wù)中去,在未來還會(huì)起到越來越重要的作用。而且在社交以及更多領(lǐng)域起到的作用越來越大,希望能幫到你。
騰訊微信用戶超過9億,每天產(chǎn)生的數(shù)據(jù)量都是數(shù)億tb,馬化騰在一次數(shù)博會(huì)上透露,騰訊保存著18年用戶的數(shù)據(jù),數(shù)據(jù)量超過1000個(gè)pb。
1,分布式云存儲(chǔ)
據(jù)悉,騰訊是國(guó)內(nèi)服務(wù)器最多的互聯(lián)網(wǎng)公司,騰訊在全球部署了24個(gè)大區(qū)、44個(gè)集成數(shù)據(jù)中心、超過1400個(gè)CDN節(jié)點(diǎn),2018年,天津數(shù)據(jù)中心,服務(wù)器就超過10萬(wàn)臺(tái)。如此大的規(guī)模對(duì)日益增長(zhǎng)的數(shù)據(jù)需求起到有力支撐,用戶的數(shù)據(jù)根據(jù)地域分布在各個(gè)節(jié)點(diǎn)上,如此龐大的數(shù)據(jù),都是通過大數(shù)據(jù)分布式存儲(chǔ),可不是傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)。
2,有些數(shù)據(jù)是不會(huì)存儲(chǔ)在服務(wù)器上的
通過微信的數(shù)據(jù)并不是全部上傳但服務(wù)器上的,比如:聊天記錄(文字、語(yǔ)音、圖片)等等,因?yàn)榭紤]到用戶的隱私,以及數(shù)據(jù)存儲(chǔ)問題,這些數(shù)據(jù)是存儲(chǔ)在用戶本地的,微信卸載刪除,聊天記錄就清空了,這些數(shù)據(jù)服務(wù)器上不保存。
我覺得朋友圈的內(nèi)容再多也只是文字、圖片和幾十秒的小視頻而已,相比于抖音、youtube、微博等來說,估計(jì)還沒有后者這些每天產(chǎn)生的數(shù)據(jù)容量大。所以,在服務(wù)器壓力上,我覺得騰訊完全是可以解決的。像騰訊微云來說,免費(fèi)用戶注冊(cè)就送10g的空間,對(duì)于只存儲(chǔ)小視頻、圖片和幾十字的文字,普通人發(fā)一年發(fā)朋友圈估計(jì)都存不滿。說明,騰訊的儲(chǔ)存空間還很多,能給微信朋友圈的服務(wù)器內(nèi)存非常豐富。而且現(xiàn)在的服務(wù)器內(nèi)存空間又那么便宜,一臺(tái)不夠就兩臺(tái),兩臺(tái)不夠就搞服務(wù)器機(jī)房。
對(duì)于像大公司這樣的服務(wù)器來說,內(nèi)存容量都不是gb這樣的來,都是pb、eb往上的單位。一個(gè)就算一生發(fā)70年的朋友圈圖片+文字,一天發(fā)100mb大小的朋友圈內(nèi)容(我的世界觀里不存在這樣的人),一年也就是365*100=36500mb的內(nèi)容,70年就是70*36500=2555000mb的內(nèi)容。換算成gb的也就是2496gb的內(nèi)容,騰訊全部給他保存下來也就是2.5個(gè)tb的容量。而現(xiàn)在服務(wù)器上百tb的容量很常見嘛,關(guān)鍵是現(xiàn)在都是分布式的服務(wù)器,可以隨時(shí)不夠就再加。騰訊微云10塊錢就能買3tb空間,某寶某東上1tb硬盤也就是幾百塊。
現(xiàn)在都是大數(shù)據(jù)時(shí)代里,大量的數(shù)據(jù)在挑戰(zhàn)企業(yè)的存儲(chǔ),朋友圈的內(nèi)容可謂是九牛一毛,不足為道,F(xiàn)在我們說數(shù)據(jù)大容量,通?蛇_(dá)到PB(1pb=1024tb)級(jí)的數(shù)據(jù)規(guī)模,因此,海量數(shù)據(jù)存儲(chǔ)系統(tǒng)也一定要有相應(yīng)等級(jí)的擴(kuò)展能力。我知道的現(xiàn)在越來越多企業(yè)喜歡Scale-out(橫向擴(kuò)展存儲(chǔ))架構(gòu)的存儲(chǔ)模式。在每個(gè)節(jié)點(diǎn)除了具有一定的存儲(chǔ)容量之外,內(nèi)部還具備數(shù)據(jù)處理能力以及互聯(lián)設(shè)備,可以實(shí)現(xiàn)無(wú)縫平滑的擴(kuò)展,避免存儲(chǔ)孤島,數(shù)據(jù)再大也不怕,而且數(shù)據(jù)安全也有保障。沒有哪個(gè)企業(yè)會(huì)把數(shù)據(jù)都存一個(gè)地方、一臺(tái)服務(wù)器。有了scale-out架構(gòu),在購(gòu)買磁盤時(shí)就可以量力而行,一旦存儲(chǔ)空間的需求超出預(yù)期,可以添加新的陣列而不會(huì)受到任何限制。
所以,朋友圈內(nèi)容再多也不會(huì)是騰訊微信主要擔(dān)心的事情。
“emmm……你一天發(fā)幾條朋友圈?”
主要?dú)w功于分布式存儲(chǔ)
你上傳的視頻、文件并不是全部都存儲(chǔ)在同一個(gè)服務(wù)器里,也就避免了某個(gè)地區(qū)突然出現(xiàn)大量用戶上傳信息導(dǎo)致空間不足或者服務(wù)器繁忙。
你上傳的視頻,如果沒有刻意去修改md5碼,那么別人如果上傳了和你相同的視頻,服務(wù)器就只需要存儲(chǔ)一份就夠了,這是因?yàn)榉植际綌?shù)據(jù)庫(kù)中資源是共享互通的,減少了空間占用。
各大公司的存儲(chǔ)空間確實(shí)不是無(wú)限大的,一般給你提供的免費(fèi)空間只有1G以內(nèi),所以如果你要上傳大文件,一般各種網(wǎng)盤都需要你升級(jí)會(huì)員才可以,在你升級(jí)會(huì)員后,實(shí)際上也就是變相的你自己租用了一塊遠(yuǎn)端的服務(wù)器硬盤。
會(huì)不會(huì)存在以后存儲(chǔ)數(shù)據(jù)太大,占用了物理空間越來越大?沒地方放硬盤了?
當(dāng)然是有可能的,所以現(xiàn)在硬盤技術(shù)在不斷升級(jí)改善,并且各種文件數(shù)據(jù)存儲(chǔ)共享技術(shù)也在創(chuàng)新,不過這個(gè)擔(dān)憂就像人類會(huì)不會(huì)有一天沒有氧氣一樣。暫時(shí)不需要擔(dān)心。
感謝您的閱讀!
我們其實(shí)最擔(dān)心的是,自己的聊天記錄,騰訊會(huì)不會(huì)也存儲(chǔ),微信言辭懇切:為了保護(hù)用戶隱私,聊天記錄會(huì)保存到用戶本機(jī),服務(wù)器不會(huì)保存!
然而,對(duì)于用戶而言,還是會(huì)擔(dān)憂自己的聊天記錄被騰訊保留,特別是服務(wù)器中。除了聊天記錄之外,那么朋友圈的視頻,照片到底保存在哪里呢?如果保存在騰訊云服務(wù)器中,騰訊的云服務(wù)器到底得多大呢?
2013年,騰訊、深圳聯(lián)通和中興通訊共同打造了亞洲最大的微模塊數(shù)據(jù)中心,當(dāng)時(shí)數(shù)據(jù)中心可以容納25000臺(tái)服務(wù)器。
而騰訊目前最大的數(shù)據(jù)中心就是騰訊天津數(shù)據(jù)中心,截止2018年5月,騰訊天津數(shù)據(jù)中心服務(wù)器數(shù)量突破10萬(wàn)臺(tái)。
我們知道目前阿里巴巴,騰訊等等都將數(shù)據(jù)中心建在了貴州,貴州的自然環(huán)境優(yōu)秀、電力資源雄厚,而這也是馬化騰準(zhǔn)備開辟騰訊最大數(shù)據(jù)中心的序幕。騰訊貴安七星數(shù)據(jù)中心建成后可容納超過5萬(wàn)臺(tái)服務(wù)器,也將成為騰訊公司全球核心數(shù)據(jù),提供更大的存儲(chǔ)業(yè)務(wù)。
服務(wù)器多,自然不用擔(dān)心空間不夠; 其實(shí),我們知道分布式數(shù)據(jù)庫(kù)和分布式存儲(chǔ)是分布式系統(tǒng)中最難的方式,分布式存儲(chǔ),可以將所有的機(jī)器的磁盤空間進(jìn)行整理,分別存儲(chǔ)各個(gè)文件,包括朋友圈的內(nèi)容。
其實(shí),大容量的服務(wù)器;以及并沒有大家想象的將所有的內(nèi)容發(fā)送到服務(wù)器,有些內(nèi)容我們手機(jī)自己保存;更為重要的一點(diǎn),微信已經(jīng)預(yù)見到這些問題,如果真的出現(xiàn)服務(wù)器不夠用,微信估計(jì)在你知道之前,早就解決了。
就在前不久騰訊公司宣布它的用戶已經(jīng)突破九億人。用戶信息最久都已經(jīng)保存了近二十年。為什么不論用戶在何時(shí)何地打開軟件都可以找到自己上傳的信息,而且還能非常尋迅速的下載下來。
云存儲(chǔ)技術(shù)也是這幾年新興起的一種快速便捷的網(wǎng)絡(luò)存儲(chǔ)技術(shù)。就像云彩一樣,無(wú)論人去哪里,抬頭都能看到空中的云彩。云存儲(chǔ)就是實(shí)現(xiàn)了這樣的功能,無(wú)論在任何地方都可以打開網(wǎng)絡(luò)下載上傳,而且速度很快。為了實(shí)現(xiàn)這個(gè)功能,公司在全球建立了二十四個(gè)分區(qū)和四十四個(gè)數(shù)據(jù)處理中心和一千多個(gè)節(jié)點(diǎn)。這一個(gè)中心有多大呢?幾乎每個(gè)數(shù)據(jù)中心的規(guī)模都要超過十萬(wàn)臺(tái)服務(wù)器。而用戶的信息則放在數(shù)據(jù)節(jié)點(diǎn)上,只要用戶在這個(gè)地域使用該軟件,就會(huì)很快的為用戶提供數(shù)據(jù)支持。
安全的信息保護(hù)功能,現(xiàn)代社會(huì)隨著信息的爆炸式增長(zhǎng),人們幾乎都在網(wǎng)絡(luò)的覆蓋之下,人們對(duì)個(gè)人信息的安全日益重視,生怕稍有疏忽就會(huì)導(dǎo)致個(gè)人隱私泄露。為了免除用戶的后顧之憂保護(hù)用戶信息安全,大部分信息都不會(huì)上傳到服務(wù)器里。如果用戶選擇清理手機(jī)空間,這些信息也會(huì)被徹底刪除。除非是主動(dòng)上傳到個(gè)人的空間或者是網(wǎng)盤,否則服務(wù)器不會(huì)接收存儲(chǔ)你的個(gè)人信息。
而且,分布式存儲(chǔ)也能起到很好的保密作用,除非經(jīng)過用戶的請(qǐng)求允許,不然是很難拿到用戶的完整數(shù)據(jù)。
每天有那么多人在朋友圈發(fā)視頻和照片,啥樣的服務(wù)器才頂?shù)米。?/p>
一、先進(jìn)的云存儲(chǔ)技術(shù)
云存儲(chǔ)技術(shù)也是這幾年新興起的一種快速便捷的網(wǎng)絡(luò)存儲(chǔ)技術(shù),無(wú)論在任何地方都可以打開網(wǎng)絡(luò)下載上傳,而且速度很快。
二、安全的信息保護(hù)功能
現(xiàn)代社會(huì)隨著信息的爆炸式增長(zhǎng),人們幾乎都在網(wǎng)絡(luò)的覆蓋之下,人們對(duì)個(gè)人信息的安全日益重視,生怕稍有疏忽就會(huì)導(dǎo)致個(gè)人隱私泄露。為了免除用戶的后顧之憂保護(hù)用戶信息安全,大部分信息都不會(huì)上傳到服務(wù)器里。如果用戶選擇清理手機(jī)空間,這些信息也會(huì)被徹底刪除。除非是主動(dòng)上傳到個(gè)人的空間或者是網(wǎng)盤,否則服務(wù)器不會(huì)接收存儲(chǔ)你的個(gè)人信息,也就是分布式存儲(chǔ)。
微信應(yīng)該加一個(gè)功能,就是發(fā)出去信息,可以確認(rèn)對(duì)方收到?jīng)]有。易信都已經(jīng)有了這個(gè)功能,很多外國(guó)的產(chǎn)品都有這個(gè)功能。
就在前不久騰訊公司宣布它的用戶已經(jīng)突破九億人。用戶信息最久都已經(jīng)保存了近二十年。為什么不論用戶在何時(shí)何地打開軟件都可以找到自己上傳的信息,而且還能非常尋迅速的下載下來。
云存儲(chǔ)技術(shù)也是這幾年新興起的一種快速便捷的網(wǎng)絡(luò)存儲(chǔ)技術(shù)。就像云彩一樣,無(wú)論人去哪里,抬頭都能看到空中的云彩。云存儲(chǔ)就是實(shí)現(xiàn)了這樣的功能,無(wú)論在任何地方都可以打開網(wǎng)絡(luò)下載上傳,而且速度很快。為了實(shí)現(xiàn)這個(gè)功能,公司在全球建立了二十四個(gè)分區(qū)和四十四個(gè)數(shù)據(jù)處理中心和一千多個(gè)節(jié)點(diǎn)。這一個(gè)中心有多大呢?幾乎每個(gè)數(shù)據(jù)中心的規(guī)模都要超過十萬(wàn)臺(tái)服務(wù)器。而用戶的信息則放在數(shù)據(jù)節(jié)點(diǎn)上,只要用戶在這個(gè)地域使用該軟件,就會(huì)很快的為用戶提供數(shù)據(jù)支持。
安全的信息保護(hù)功能,現(xiàn)代社會(huì)隨著信息的爆炸式增長(zhǎng),人們幾乎都在網(wǎng)絡(luò)的覆蓋之下,人們對(duì)個(gè)人信息的安全日益重視,生怕稍有疏忽就會(huì)導(dǎo)致個(gè)人隱私泄露。為了免除用戶的后顧之憂保護(hù)用戶信息安全,大部分信息都不會(huì)上傳到服務(wù)器里。如果用戶選擇清理手機(jī)空間,這些信息也會(huì)被徹底刪除。除非是主動(dòng)上傳到個(gè)人的空間或者是網(wǎng)盤,否則服務(wù)器不會(huì)接收存儲(chǔ)你的個(gè)人信息。
而且,分布式存儲(chǔ)也能起到很好的保密作用,除非經(jīng)過用戶的請(qǐng)求允許,不然是很難拿到用戶的完整數(shù)據(jù)。
——本回答為西安鼎昂數(shù)字貨幣智能量化全自動(dòng)炒幣機(jī)器人(歷時(shí)收益,數(shù)據(jù)核對(duì),實(shí)況直播)公司整理。
大是肯定的,但是這都是基本需求,你上傳上去的內(nèi)容,都是經(jīng)過壓縮的,不信你把上傳上去的照片或者視頻再下載下來對(duì)比一下就知道了,會(huì)損失很多的精度,不過對(duì)于在互聯(lián)網(wǎng)上的分享影響不大。如何實(shí)現(xiàn)的,肯定是要采用分布式的,而且是有冗余的,不會(huì)因?yàn)閱我坏氖鹿试斐蓴?shù)據(jù)丟失。在現(xiàn)在這個(gè)時(shí)代,用戶創(chuàng)造的內(nèi)容對(duì)于提供商來說都是很重要的。
一天中什么時(shí)候運(yùn)動(dòng)減肥效果好抓 小孩能不能練啞鈴多大的孩子適合 小孩嘴唇起皮怎么辦怎樣才能預(yù)防 孩子的羅圈腿是怎么形成的三大因 孩子早戀怎么辦如何有效疏導(dǎo)孩子 醫(yī)生婆婆稱自己專業(yè)孩子的事必須 兒子成人禮送什么禮物好呢給你孩 有孩子的夫妻千萬(wàn)不要離婚對(duì)于孩 小孩千萬(wàn)別讓老人帶的說法正確嗎 自卑缺乏安全感的孩子怎么改善 怎么讓孩子開口說話 這幾個(gè)方法 怎么讓孩子吃飯 教你如何讓孩子 怎么管教不聽話的孩子 家長(zhǎng)首先 頑皮的孩子怎么管教的 這些方法 叛逆期的孩子怎么管教 引導(dǎo)孩子 孩子性格軟弱怎么辦 懦弱的性格 孩子性格偏激怎么辦 孩子性格偏 孩子性格固執(zhí)怎么辦 家長(zhǎng)們不妨 愛惹事的孩子怎么管教 不妨試試 養(yǎng)育優(yōu)秀的孩子具備特征,家長(zhǎng)要 高考數(shù)學(xué)難出新天際,可有的孩子 “做胎教”和“不做胎教”的孩子 花費(fèi)十幾萬(wàn)只考了302分 媽媽覺得 甘肅作弊考生留下來的疑團(tuán),是怎 一舉奪魁!高三學(xué)生離校時(shí),校領(lǐng) 高考釘子戶:26次參加高考,今年 D2809次列車因泥石流脫線!此類 “女兒16歲,學(xué)校宿舍里分娩了” 扭曲邪門的內(nèi)容,頻頻出現(xiàn)在教科 川渝地區(qū)幾所大學(xué)實(shí)力很牛!四川