高速寬帶已經非常快,不差錢的亞馬遜買帶寬不就行了,造卡車運數據幹嘛用?抱著精明的企業家一定不會做賠本生意的想法,筆者收集的了一些數據,也做了一些測算。發現,這個世界真的有太多我們意想不到的東西。背景介紹:在拉斯維加斯re:invent年度技術大會上, 亞馬遜雲計算(以下稱AWS)將一輛45英尺長的卡車開到了舞台上。這是一輛專門為EB級數據傳輸而定製的AWS SnowMobile數據傳輸車。
首先是數據。還記得買第一個4GB優盤時那個高興勁兒,覺得它能裝下整個世界。直到後來才發現,人家某公司一張圖片就16GB,我這U盤,能裝四分之一……那麼,現在數據量究竟有多大?簡單來說,就是你想象不到的那麼大!
在進入信息時代後,人類每天瀏覽的數據量不斷增加,從人聯網到物聯網,數據呈指數級上升,進而產生的數據量空前龐大。據統計,每位互聯網用戶日平均流量約1.5GB,而在物聯網時代,一輛無人駕駛汽車每天產生4TB的數據量,一家智能製造工廠每天將產生1PB的數據量,而一家雲視頻供應商每日數量可達750PB。
如果你還沒有概念,筆者可以跟大家打個比方:1EB=1,024PB=1,048,576TB=1,073,741,824GB≈2.5 億張 DVD≈ 1萬億冊 400 頁厚的書……
科普TIME:1EB=1,024PB=1,048,576TB=1,073,741,824GB。即,10億GB=1EB;7億5千萬GB=750PB。除了數據量之龐大超出想象外,第二個沒想到的是:現在的網速太慢了,我們還在互聯網初期……
雖然如今移動網絡從2G過渡到4G,家庭網絡從幾兆發展到幾十兆甚至百兆,企業專線網速甚至會更快,但是在PB和EB級數據麵前,光纖還是"龜速"。
跟大家講一個真實的故事。有一天,一個大學同學讓我給她傳外教薩沙的資料。因為有很多視頻,所以兩年的資料將近100GB,我們用網絡傳輸了不少於5次,都沒有成功,後來我借了一塊移動硬盤,腿兒著給她送了過去……沒錯,相比光纖,還是跑步來的靠譜。而接下來的測算,將告訴我們,相比腿兒著來,快遞小哥更專業,相比快遞小哥, 亞馬遜造卡車運數據還真是個聰明的選擇。
PK光纖?快遞小哥笑了
結果:如果在100M帶寬的網速下,當數據超過一定的大小時,通過網絡傳輸往往不如直接快遞硬盤來的方便。例如,當你數據大於35GB的時候,在北京市內通過快遞的則較快速,如果大於100G的數據,那麼隻要是在國內,快遞都要比網絡傳輸的要快。
論證:以北京聯通為例,百兆光纖家庭用戶由於受到上行速率限製,100兆光纖下行速率100Mbps,上行速率4Mbps。即點對點理論傳輸數值為0.5m/s,如果加上線路上的一些損耗,平均0.4m/s的傳輸速度差不多。以一塊1TB的普通硬盤為例,一塊硬盤相當於1024M×1024G=1048576M數據。如果一塊硬盤通過網絡傳輸那麼就需要2621440秒,換算成分鍾則為43690分鍾≈728小時≈30.3天的時間。
30.3天的時間才能夠傳送一塊普通硬盤的內容,這還是在網絡保持通暢,不發生任何意外的情況下。如果你是在北京市裏,即使你是從南三環到北五環,相信一天的時間,快遞小哥們也能夠將這塊裝有1TB數據的硬盤放在你的麵前。而如果采用網絡傳輸一天(24小時)也大約隻能夠傳輸33.75GB左右的數據。即使你不在北京市裏,哪怕在遙遠的廣州,如今的快遞行業運輸的非常快,兩天或三天的時間也是足夠了。
從上表中我們可以看到規律,隨著傳輸的數據越來越大,通過網絡傳輸的時間越來越多,而快遞運輸的時間則甚至沒有增加。如此,我們可以推測出一個結論:越大的數據越應該脫離網絡進行物理搬運。所以,是不是當遇到1EB的數據傳輸,重卡應該會超越快遞?
用卡車運數據 我們是認真的
結論:前麵的論證說明,當數據達到TB級時,快遞運輸明顯優於網絡傳輸;但是考慮到暴力快遞等因素,快遞運輸硬盤存在一些安全隱患。尤其在麵對EB量級的數據時,造輛卡車運數據,真心不是開玩笑。也就是說,在當前的技術下,1EB的數據通過網絡傳輸需要27年才能完成,而十輛45英尺長(約14米)的重卡集裝箱,每輛100PB裝滿需要12天,1EB數據可以在6個月內完成傳輸。
論證:不同於家庭網絡,大量級的數據往往出現在企業之中,體現在物與物的鏈接中。所以我們參考10Gbps網速的專網來進行測算,10Gbps專網的理論傳輸數值約為1.25GBps。1EB≈1,073,741,824GB,所以傳輸1EB數據的時間約為:1,073,741,824GB/1.25GBps≈858,993,459秒≈14,316,557分≈238,609小時≈9,942天≈27年。
1EB的數據在企業專網中,需要27年才能完成傳輸,這也是在網絡保持通暢,不發生任何意外的情況下。為了解決這個問題,AWS提出了一種開掛的方法:網速不夠,卡車來湊!當然這不是普通的卡車,為了確保數據安全性AWS研發了一種45英尺長的集裝箱重卡AWS Snowmobile完成數據傳輸。
據了解,AWS Snowmobile是一種用於將海量數據移動到AWS中的EB級數據傳輸服務。一個45英尺長、9.6英尺高、8英尺寬海運集裝箱,由一台半掛卡車牽引,一次可以傳輸高達100PB的數據。Snowmobile可以將海量數據輕鬆移動到雲中,可以實現視頻庫、圖片存儲庫,甚至整個數據中心的遷移。
另外,為了保證數據安全,AWS不但使用了256位加密的密鑰(密鑰由AWS密鑰管理服務管理),提供溫控和防水技術,還為Snowmobile配備了專業安保人員和安全車輛組成的專業護送車隊,並配備全天候視頻監控、警報監控和GPS追蹤。防護等級絲毫不遜於任何其他押運模式,果然,在信息時代,數據才是未來石油。
EB級數據傳輸 客戶:我很滿意
我們現在可以得出結論,GB級數據可以考慮通過網絡傳輸,TB級數據需要快遞運輸,而如果你有PB或者EB級數據,那還是選擇集裝箱重卡吧!畢竟,有時候太複雜的東西,反而需要用最簡單的方法來解決才最有效。
但可能有人提出質疑:我們常見的社交數據、視頻數據都是有"保質期"的,一般過了三個月後,複用率很低,所以企業都會直接做冷處理。那麼,PB、EB級數據傳輸,真的有必要嗎?答案是肯定的。而且亞馬遜這個45英尺的大卡車,在今年6月就已經完成了一次100PB的數據傳輸實戰。
這家公司叫做DigitalGlobe,從2001年發射第一顆衛星QuickBird起,DigitalGlobe就負責24*7*365的收集地球的圖像,隨著新的衛星不斷加入和圖像分辨率的不斷提升,DigitalGlobe手機的圖片所占用的存儲空間越來越大。例如WorldView-3衛星收集的一張圖像可能就達到30GB。在十幾年的積累後,如今這家公司的數據存儲量已經高達100PB,同時還在以每年10PB的速度不斷增長。
毫無疑問,這些數據對科學研究有著重要價值,也是人文、曆史、科學、生物、工業等學科的資料和依據。但是我們都知道,數據的存儲與維護的費用十分高昂,隨著雲計算技術不斷成熟,這家公司開始將數據搬到了公有雲上,而此時,PB級的數據傳輸問題就成為了瓶頸:數據需要在能夠快速調取的情況下(熱狀態下)實現快速遷移。
於是,亞馬遜將一台Snowmobile停在了DigitalGlobe科羅拉多州威斯敏斯特的總部,連接上一台交換機和多條40Gb/s速率的網絡,以1 Tb/s的速率傳輸數據,實現高速數據交換能力,在這種環境下,每輛Snowmobile的數據傳輸需要12.13天。終於,DigitalGlobe在今年第一季度成功遷移了5400萬個文件。
對此,DigitalGlobe公司基礎設施與運營副總裁Jay Littlepage評價說:"利用Snowmobile強大的數據傳輸能力,我們得以越來越快地將影像歸檔導入至AWS端,這使得我們的客戶及合作夥伴能夠快速獲取海量數據集……Snowmobile已經成為真正的遊戲規則改變者!"如此看來,100PB的文件傳輸已經有了成功案例,而且Snowmobile的實際應用者還說"這次數據傳輸已經使出洪荒之力了,我很滿意!"
敗北:光纖追不上數據增長速度
進入信息時代,我們常說"數據量呈指數級增長",此言非虛。根據最新的研究顯示,到2022年,全球攝像頭總量將達到44萬億部。在五年之內,一部智能手機可以運行13個攝像頭,能夠拍攝360度3D視頻,創建複雜的增強現實圖像……在這些改變的背後,無論是數據數量,還是單個數據的大小都將暴增。
過去一部MP4電影幾百MB,如今一部4K電影需要幾百GB,那未來是不是一部全息電影需要幾百TB的空間?也就是說,盡管帶寬級別在不斷增加,但是,數據量級也在同步增加,光纖追不上數據增長的速度,用光纖來點對點傳輸PB或EB級的數據無異於愚公移山,未來物理搬運數據還會是必須。
亞馬遜說卡車運數據比光纖快!是真的嗎?|亞馬遜|數據 ...高速寬帶已經非常快,不差錢的亞馬遜買帶寬不就行了,造卡車運數據幹嘛用?抱著精明的企業家一定不會做賠本生意的想法,筆者收集的 ...
53 分鍾前亞馬遜說卡車運數據比光纖快 是真的嗎?的最新相關信息亞馬遜說卡車運數據比光纖快 是真的嗎?
高速寬帶已經非常快,不差錢的亞馬遜買帶寬不就行了,造卡車運數據幹嘛用?抱著精明的企業家一定不會做賠本生意的想法,筆者收集的了一些數據,也做了一些測算。發現,這個世界真的有 …
亞馬遜說卡車運數據比光纖快!是真的嗎?|亞馬遜|物聯 …
高速寬帶已經非常快,不差錢的亞馬遜買帶寬不就行了,造卡車運數據幹嘛用?抱著精明的企業家一定不會做賠本生意的想法,筆者收集的 ...
4 小時前亞馬遜說卡車運數據比光纖快!是真的嗎?_科技頻道_東 …
高速寬帶已經非常快,不差錢的亞馬遜買帶寬不就行了,造卡車運數據幹嘛用? 抱著精明的企業家一定不會做賠本生意的想法,筆者收集的了一些數據,也做了 ...
今天EXALEAD亞馬遜說卡車運數據比光纖快!是真的嗎…
EXALEAD亞馬遜說卡車運數據比光纖快!是真的嗎?.rar MD5:189b80e4f9393cee972283b7787d08b7 free virus scan is a free online scan service, utilizing various ...
今天貝哥談科技 - 雪球
亞馬遜說卡車運數據比光纖快!是真的嗎?本文由貝哥談科技發布於2017年8-12 高速寬帶已經非常快,不差錢的亞馬遜買帶寬不就行了,造卡車運數據幹嘛用?
2 小時前黑客就樂了 消費網站密碼普遍強度不夠_服務器x86服務 …
亞馬遜說卡車運數據比光纖快!是 真的嗎? 4 央媽出手 所有移動支付需實行中央清算 5 2017軟件開發調查:女性比男性薪資低 ... 支付需實行 ...
1 天前評論中心
數據正在加載中,請稍候... 門戶版 博客版(默認) [收藏] 登錄 注冊 首頁 新聞 驅動 評測 社區 下載 驅動精靈 新聞中心 > 亞馬遜說卡車運數據比光纖快!是真的 ...
37 分鍾前蘋果心係九寨溝 捐款700萬元救助災區_服務器x86服務 …
亞馬遜說卡車運數據比光纖快!是 真的嗎? 4 央媽出手 所有移動支付需實行中央清算 5 2017軟件開發調查:女性比男性薪資低 ... 支付需實行 ...
1 天前亞馬遜雲存儲推18輪數據卡車:可備份100萬GB_網易科技
亞馬遜雲存儲推18輪數據卡車:可備份100萬GB,亞馬遜 雲存儲 服務器 雲存儲服務 aws ... 亞馬遜指出,即使使用光纖連接,上傳100 PB的數據將需要20多年時間。
2016-12-5亞馬遜真會玩,要用卡車傳輸數據,竟比網絡傳輸速度 …
亞馬遜計劃將這輛載有 Snowmobile 存儲設備的卡車開到客戶企業辦公地點,通過光纖插入服務器提取數據,然後到亞馬遜數據中心進行數據轉移,這樣數據傳輸的 ...
2016-12-1相關文章
没有评论:
发表评论