AD

2017年9月12日星期二

亞馬遜說卡車運數據比光纖快 是真的嗎?

高速寬帶已經非常快,不差錢的亞馬遜買帶寬不就行了,造卡車運數據幹嘛用?抱著精明的企業家一定不會做賠本生意的想法,筆者收集的了一些數據,也做了一些測算。發現,這個世界真的有太多我們意想不到的東西。背景介紹:在拉斯維加斯re:invent年度技術大會上, 亞馬遜雲計算(以下稱AWS)將一輛45英尺長的卡車開到了舞台上。這是一輛專門為EB級數據傳輸而定製的AWS SnowMobile數據傳輸車。

首先是數據。還記得買第一個4GB優盤時那個高興勁兒,覺得它能裝下整個世界。直到後來才發現,人家某公司一張圖片就16GB,我這U盤,能裝四分之一……那麼,現在數據量究竟有多大?簡單來說,就是你想象不到的那麼大!

在進入信息時代後,人類每天瀏覽的數據量不斷增加,從人聯網到物聯網,數據呈指數級上升,進而產生的數據量空前龐大。據統計,每位互聯網用戶日平均流量約1.5GB,而在物聯網時代,一輛無人駕駛汽車每天產生4TB的數據量,一家智能製造工廠每天將產生1PB的數據量,而一家雲視頻供應商每日數量可達750PB。

如果你還沒有概念,筆者可以跟大家打個比方:1EB=1,024PB=1,048,576TB=1,073,741,824GB≈2.5 億張 DVD≈ 1萬億冊 400 頁厚的書……

科普TIME:1EB=1,024PB=1,048,576TB=1,073,741,824GB。即,10億GB=1EB;7億5千萬GB=750PB。除了數據量之龐大超出想象外,第二個沒想到的是:現在的網速太慢了,我們還在互聯網初期……

雖然如今移動網絡從2G過渡到4G,家庭網絡從幾兆發展到幾十兆甚至百兆,企業專線網速甚至會更快,但是在PB和EB級數據麵前,光纖還是"龜速"。

跟大家講一個真實的故事。有一天,一個大學同學讓我給她傳外教薩沙的資料。因為有很多視頻,所以兩年的資料將近100GB,我們用網絡傳輸了不少於5次,都沒有成功,後來我借了一塊移動硬盤,腿兒著給她送了過去……沒錯,相比光纖,還是跑步來的靠譜。而接下來的測算,將告訴我們,相比腿兒著來,快遞小哥更專業,相比快遞小哥, 亞馬遜造卡車運數據還真是個聰明的選擇。

PK光纖?快遞小哥笑了

結果:如果在100M帶寬的網速下,當數據超過一定的大小時,通過網絡傳輸往往不如直接快遞硬盤來的方便。例如,當你數據大於35GB的時候,在北京市內通過快遞的則較快速,如果大於100G的數據,那麼隻要是在國內,快遞都要比網絡傳輸的要快。

論證:以北京聯通為例,百兆光纖家庭用戶由於受到上行速率限製,100兆光纖下行速率100Mbps,上行速率4Mbps。即點對點理論傳輸數值為0.5m/s,如果加上線路上的一些損耗,平均0.4m/s的傳輸速度差不多。以一塊1TB的普通硬盤為例,一塊硬盤相當於1024M×1024G=1048576M數據。如果一塊硬盤通過網絡傳輸那麼就需要2621440秒,換算成分鍾則為43690分鍾≈728小時≈30.3天的時間。

30.3天的時間才能夠傳送一塊普通硬盤的內容,這還是在網絡保持通暢,不發生任何意外的情況下。如果你是在北京市裏,即使你是從南三環到北五環,相信一天的時間,快遞小哥們也能夠將這塊裝有1TB數據的硬盤放在你的麵前。而如果采用網絡傳輸一天(24小時)也大約隻能夠傳輸33.75GB左右的數據。即使你不在北京市裏,哪怕在遙遠的廣州,如今的快遞行業運輸的非常快,兩天或三天的時間也是足夠了。

從上表中我們可以看到規律,隨著傳輸的數據越來越大,通過網絡傳輸的時間越來越多,而快遞運輸的時間則甚至沒有增加。如此,我們可以推測出一個結論:越大的數據越應該脫離網絡進行物理搬運。所以,是不是當遇到1EB的數據傳輸,重卡應該會超越快遞?

用卡車運數據 我們是認真的

結論:前麵的論證說明,當數據達到TB級時,快遞運輸明顯優於網絡傳輸;但是考慮到暴力快遞等因素,快遞運輸硬盤存在一些安全隱患。尤其在麵對EB量級的數據時,造輛卡車運數據,真心不是開玩笑。也就是說,在當前的技術下,1EB的數據通過網絡傳輸需要27年才能完成,而十輛45英尺長(約14米)的重卡集裝箱,每輛100PB裝滿需要12天,1EB數據可以在6個月內完成傳輸。

論證:不同於家庭網絡,大量級的數據往往出現在企業之中,體現在物與物的鏈接中。所以我們參考10Gbps網速的專網來進行測算,10Gbps專網的理論傳輸數值約為1.25GBps。1EB≈1,073,741,824GB,所以傳輸1EB數據的時間約為:1,073,741,824GB/1.25GBps≈858,993,459秒≈14,316,557分≈238,609小時≈9,942天≈27年。

1EB的數據在企業專網中,需要27年才能完成傳輸,這也是在網絡保持通暢,不發生任何意外的情況下。為了解決這個問題,AWS提出了一種開掛的方法:網速不夠,卡車來湊!當然這不是普通的卡車,為了確保數據安全性AWS研發了一種45英尺長的集裝箱重卡AWS Snowmobile完成數據傳輸。

據了解,AWS Snowmobile是一種用於將海量數據移動到AWS中的EB級數據傳輸服務。一個45英尺長、9.6英尺高、8英尺寬海運集裝箱,由一台半掛卡車牽引,一次可以傳輸高達100PB的數據。Snowmobile可以將海量數據輕鬆移動到雲中,可以實現視頻庫、圖片存儲庫,甚至整個數據中心的遷移。

另外,為了保證數據安全,AWS不但使用了256位加密的密鑰(密鑰由AWS密鑰管理服務管理),提供溫控和防水技術,還為Snowmobile配備了專業安保人員和安全車輛組成的專業護送車隊,並配備全天候視頻監控、警報監控和GPS追蹤。防護等級絲毫不遜於任何其他押運模式,果然,在信息時代,數據才是未來石油。

EB級數據傳輸 客戶:我很滿意

我們現在可以得出結論,GB級數據可以考慮通過網絡傳輸,TB級數據需要快遞運輸,而如果你有PB或者EB級數據,那還是選擇集裝箱重卡吧!畢竟,有時候太複雜的東西,反而需要用最簡單的方法來解決才最有效。

但可能有人提出質疑:我們常見的社交數據、視頻數據都是有"保質期"的,一般過了三個月後,複用率很低,所以企業都會直接做冷處理。那麼,PB、EB級數據傳輸,真的有必要嗎?答案是肯定的。而且亞馬遜這個45英尺的大卡車,在今年6月就已經完成了一次100PB的數據傳輸實戰。

這家公司叫做DigitalGlobe,從2001年發射第一顆衛星QuickBird起,DigitalGlobe就負責24*7*365的收集地球的圖像,隨著新的衛星不斷加入和圖像分辨率的不斷提升,DigitalGlobe手機的圖片所占用的存儲空間越來越大。例如WorldView-3衛星收集的一張圖像可能就達到30GB。在十幾年的積累後,如今這家公司的數據存儲量已經高達100PB,同時還在以每年10PB的速度不斷增長。

毫無疑問,這些數據對科學研究有著重要價值,也是人文、曆史、科學、生物、工業等學科的資料和依據。但是我們都知道,數據的存儲與維護的費用十分高昂,隨著雲計算技術不斷成熟,這家公司開始將數據搬到了公有雲上,而此時,PB級的數據傳輸問題就成為了瓶頸:數據需要在能夠快速調取的情況下(熱狀態下)實現快速遷移。

於是,亞馬遜將一台Snowmobile停在了DigitalGlobe科羅拉多州威斯敏斯特的總部,連接上一台交換機和多條40Gb/s速率的網絡,以1 Tb/s的速率傳輸數據,實現高速數據交換能力,在這種環境下,每輛Snowmobile的數據傳輸需要12.13天。終於,DigitalGlobe在今年第一季度成功遷移了5400萬個文件。

對此,DigitalGlobe公司基礎設施與運營副總裁Jay Littlepage評價說:"利用Snowmobile強大的數據傳輸能力,我們得以越來越快地將影像歸檔導入至AWS端,這使得我們的客戶及合作夥伴能夠快速獲取海量數據集……Snowmobile已經成為真正的遊戲規則改變者!"如此看來,100PB的文件傳輸已經有了成功案例,而且Snowmobile的實際應用者還說"這次數據傳輸已經使出洪荒之力了,我很滿意!"

敗北:光纖追不上數據增長速度

進入信息時代,我們常說"數據量呈指數級增長",此言非虛。根據最新的研究顯示,到2022年,全球攝像頭總量將達到44萬億部。在五年之內,一部智能手機可以運行13個攝像頭,能夠拍攝360度3D視頻,創建複雜的增強現實圖像……在這些改變的背後,無論是數據數量,還是單個數據的大小都將暴增。

過去一部MP4電影幾百MB,如今一部4K電影需要幾百GB,那未來是不是一部全息電影需要幾百TB的空間?也就是說,盡管帶寬級別在不斷增加,但是,數據量級也在同步增加,光纖追不上數據增長的速度,用光纖來點對點傳輸PB或EB級的數據無異於愚公移山,未來物理搬運數據還會是必須。

亞馬遜說卡車運數據比光纖快!是真的嗎?|亞馬遜|數據 ...

高速寬帶已經非常快,不差錢的亞馬遜買帶寬不就行了,造卡車運數據幹嘛用?抱著精明的企業家一定不會做賠本生意的想法,筆者收集的 ...

53 分鍾前
亞馬遜說卡車運數據比光纖快 是真的嗎?的最新相關信息亞馬遜說卡車運數據比光纖快 是真的嗎?

高速寬帶已經非常快,不差錢的亞馬遜買帶寬不就行了,造卡車運數據幹嘛用?抱著精明的企業家一定不會做賠本生意的想法,筆者收集的了一些數據,也做了一些測算。發現,這個世界真的有 …



亞馬遜說卡車運數據比光纖快!是真的嗎?|亞馬遜|物聯 …

高速寬帶已經非常快,不差錢的亞馬遜買帶寬不就行了,造卡車運數據幹嘛用?抱著精明的企業家一定不會做賠本生意的想法,筆者收集的 ...

4 小時前
亞馬遜說卡車運數據比光纖快!是真的嗎?_科技頻道_東 …

高速寬帶已經非常快,不差錢的亞馬遜買帶寬不就行了,造卡車運數據幹嘛用? 抱著精明的企業家一定不會做賠本生意的想法,筆者收集的了一些數據,也做了 ...

今天
EXALEAD亞馬遜說卡車運數據比光纖快!是真的嗎…

EXALEAD亞馬遜說卡車運數據比光纖快!是真的嗎?.rar MD5:189b80e4f9393cee972283b7787d08b7 free virus scan is a free online scan service, utilizing various ...

今天
貝哥談科技 - 雪球

亞馬遜說卡車運數據比光纖快!是真的嗎?本文由貝哥談科技發布於2017年8-12 高速寬帶已經非常快,不差錢的亞馬遜買帶寬不就行了,造卡車運數據幹嘛用?

2 小時前
黑客就樂了 消費網站密碼普遍強度不夠_服務器x86服務 …

亞馬遜說卡車運數據比光纖快!是 真的嗎? 4 央媽出手 所有移動支付需實行中央清算 5 2017軟件開發調查:女性比男性薪資低 ... 支付需實行 ...

1 天前
評論中心

數據正在加載中,請稍候... 門戶版 博客版(默認) [收藏] 登錄 注冊 首頁 新聞 驅動 評測 社區 下載 驅動精靈 新聞中心 > 亞馬遜說卡車運數據比光纖快!是真的 ...

37 分鍾前
蘋果心係九寨溝 捐款700萬元救助災區_服務器x86服務 …

亞馬遜說卡車運數據比光纖快!是 真的嗎? 4 央媽出手 所有移動支付需實行中央清算 5 2017軟件開發調查:女性比男性薪資低 ... 支付需實行 ...

1 天前
亞馬遜雲存儲推18輪數據卡車:可備份100萬GB_網易科技

亞馬遜雲存儲推18輪數據卡車:可備份100萬GB,亞馬遜 雲存儲 服務器 雲存儲服務 aws ... 亞馬遜指出,即使使用光纖連接,上傳100 PB的數據將需要20多年時間。

2016-12-5
亞馬遜真會玩,要用卡車傳輸數據,竟比網絡傳輸速度 …

亞馬遜計劃將這輛載有 Snowmobile 存儲設備的卡車開到客戶企業辦公地點,通過光纖插入服務器提取數據,然後到亞馬遜數據中心進行數據轉移,這樣數據傳輸的 ...

2016-12-1
相關文章
或許Model 3不該少了它:抬頭顯示屏2017年08月13日
買齊蘋果官方轉換頭需花費多少?- 5700元2017年08月13日
聯想Moto X4本月24日發布:預計3000元左右2017年08月13日
傳銷女骨幹以相親為名 用QQ色誘16名男青年迫其入夥2017年08月13日
亞馬遜為不可靠的日食觀測鏡購買者提供退款服務2017年08月13日
八個月內連破三道大關 海外比特幣價格突破4000美元,再創新高2017年08月13日
京東微聯上傳用戶WiFi密碼 回應:不會導致泄露2017年08月13日
監管批設收緊 網絡小貸牌照受捧轉讓三四千萬2017年08月13日
FCC決定將"網絡中立"評論時間延長兩周2017年08月13日
"賺它一個億"等,這樣奇葩的公司名字以後沒法取了2017年08月13日

没有评论:

发表评论