高速寬帶已經非常快，不差錢的亞馬遜買帶寬不就行了，造卡車運數據幹嘛用？抱著精明的企業家一定不會做賠本生意的想法，筆者收集的了一些數據，也做了一些測算。發現，這個世界真的有太多我們意想不到的東西。背景介紹：在拉斯維加斯re：invent年度技術大會上， 亞馬遜雲計算（以下稱AWS）將一輛45英尺長的卡車開到了舞台上。這是一輛專門為EB級數據傳輸而定製的AWS SnowMobile數據傳輸車。
首先是數據。還記得買第一個4GB優盤時那個高興勁兒，覺得它能裝下整個世界。直到後來才發現，人家某公司一張圖片就16GB，我這U盤，能裝四分之一……那麼，現在數據量究竟有多大？簡單來說，就是你想象不到的那麼大！
在進入信息時代後，人類每天瀏覽的數據量不斷增加，從人聯網到物聯網，數據呈指數級上升，進而產生的數據量空前龐大。據統計，每位互聯網用戶日平均流量約1.5GB，而在物聯網時代，一輛無人駕駛汽車每天產生4TB的數據量，一家智能製造工廠每天將產生1PB的數據量，而一家雲視頻供應商每日數量可達750PB。
如果你還沒有概念，筆者可以跟大家打個比方：1EB=1，024PB=1，048，576TB=1，073，741，824GB≈2.5 億張 DVD≈ 1萬億冊 400 頁厚的書……
科普TIME：1EB=1，024PB=1，048，576TB=1，073，741，824GB。即，10億GB=1EB；7億5千萬GB=750PB。除了數據量之龐大超出想象外，第二個沒想到的是：現在的網速太慢了，我們還在互聯網初期……
雖然如今移動網絡從2G過渡到4G，家庭網絡從幾兆發展到幾十兆甚至百兆，企業專線網速甚至會更快，但是在PB和EB級數據麵前，光纖還是"龜速"。
跟大家講一個真實的故事。有一天，一個大學同學讓我給她傳外教薩沙的資料。因為有很多視頻，所以兩年的資料將近100GB，我們用網絡傳輸了不少於5次，都沒有成功，後來我借了一塊移動硬盤，腿兒著給她送了過去……沒錯，相比光纖，還是跑步來的靠譜。而接下來的測算，將告訴我們，相比腿兒著來，快遞小哥更專業，相比快遞小哥， 亞馬遜造卡車運數據還真是個聰明的選擇。
PK光纖？快遞小哥笑了
結果：如果在100M帶寬的網速下，當數據超過一定的大小時，通過網絡傳輸往往不如直接快遞硬盤來的方便。例如，當你數據大於35GB的時候，在北京市內通過快遞的則較快速，如果大於100G的數據，那麼隻要是在國內，快遞都要比網絡傳輸的要快。
論證：以北京聯通為例，百兆光纖家庭用戶由於受到上行速率限製，100兆光纖下行速率100Mbps，上行速率4Mbps。即點對點理論傳輸數值為0.5m/s，如果加上線路上的一些損耗，平均0.4m/s的傳輸速度差不多。以一塊1TB的普通硬盤為例，一塊硬盤相當於1024M×1024G=1048576M數據。如果一塊硬盤通過網絡傳輸那麼就需要2621440秒，換算成分鍾則為43690分鍾≈728小時≈30.3天的時間。
30.3天的時間才能夠傳送一塊普通硬盤的內容，這還是在網絡保持通暢，不發生任何意外的情況下。如果你是在北京市裏，即使你是從南三環到北五環，相信一天的時間，快遞小哥們也能夠將這塊裝有1TB數據的硬盤放在你的麵前。而如果采用網絡傳輸一天（24小時）也大約隻能夠傳輸33.75GB左右的數據。即使你不在北京市裏，哪怕在遙遠的廣州，如今的快遞行業運輸的非常快，兩天或三天的時間也是足夠了。
從上表中我們可以看到規律，隨著傳輸的數據越來越大，通過網絡傳輸的時間越來越多，而快遞運輸的時間則甚至沒有增加。如此，我們可以推測出一個結論：越大的數據越應該脫離網絡進行物理搬運。所以，是不是當遇到1EB的數據傳輸，重卡應該會超越快遞？
用卡車運數據 我們是認真的
結論：前麵的論證說明，當數據達到TB級時，快遞運輸明顯優於網絡傳輸；但是考慮到暴力快遞等因素，快遞運輸硬盤存在一些安全隱患。尤其在麵對EB量級的數據時，造輛卡車運數據，真心不是開玩笑。也就是說，在當前的技術下，1EB的數據通過網絡傳輸需要27年才能完成，而十輛45英尺長（約14米）的重卡集裝箱，每輛100PB裝滿需要12天，1EB數據可以在6個月內完成傳輸。
論證：不同於家庭網絡，大量級的數據往往出現在企業之中，體現在物與物的鏈接中。所以我們參考10Gbps網速的專網來進行測算，10Gbps專網的理論傳輸數值約為1.25GBps。1EB≈1,073,741,824GB，所以傳輸1EB數據的時間約為：1,073,741,824GB/1.25GBps≈858,993,459秒≈14,316,557分≈238,609小時≈9,942天≈27年。
1EB的數據在企業專網中，需要27年才能完成傳輸，這也是在網絡保持通暢，不發生任何意外的情況下。為了解決這個問題，AWS提出了一種開掛的方法：網速不夠，卡車來湊！當然這不是普通的卡車，為了確保數據安全性AWS研發了一種45英尺長的集裝箱重卡AWS Snowmobile完成數據傳輸。
據了解，AWS Snowmobile是一種用於將海量數據移動到AWS中的EB級數據傳輸服務。一個45英尺長、9.6英尺高、8英尺寬海運集裝箱，由一台半掛卡車牽引，一次可以傳輸高達100PB的數據。Snowmobile可以將海量數據輕鬆移動到雲中，可以實現視頻庫、圖片存儲庫，甚至整個數據中心的遷移。
另外，為了保證數據安全，AWS不但使用了256位加密的密鑰（密鑰由AWS密鑰管理服務管理），提供溫控和防水技術，還為Snowmobile配備了專業安保人員和安全車輛組成的專業護送車隊，並配備全天候視頻監控、警報監控和GPS追蹤。防護等級絲毫不遜於任何其他押運模式，果然，在信息時代，數據才是未來石油。
EB級數據傳輸 客戶：我很滿意
我們現在可以得出結論，GB級數據可以考慮通過網絡傳輸，TB級數據需要快遞運輸，而如果你有PB或者EB級數據，那還是選擇集裝箱重卡吧！畢竟，有時候太複雜的東西，反而需要用最簡單的方法來解決才最有效。
但可能有人提出質疑：我們常見的社交數據、視頻數據都是有"保質期"的，一般過了三個月後，複用率很低，所以企業都會直接做冷處理。那麼，PB、EB級數據傳輸，真的有必要嗎？答案是肯定的。而且亞馬遜這個45英尺的大卡車，在今年6月就已經完成了一次100PB的數據傳輸實戰。
這家公司叫做DigitalGlobe，從2001年發射第一顆衛星QuickBird起，DigitalGlobe就負責24*7*365的收集地球的圖像，隨著新的衛星不斷加入和圖像分辨率的不斷提升，DigitalGlobe手機的圖片所占用的存儲空間越來越大。例如WorldView-3衛星收集的一張圖像可能就達到30GB。在十幾年的積累後，如今這家公司的數據存儲量已經高達100PB，同時還在以每年10PB的速度不斷增長。
毫無疑問，這些數據對科學研究有著重要價值，也是人文、曆史、科學、生物、工業等學科的資料和依據。但是我們都知道，數據的存儲與維護的費用十分高昂，隨著雲計算技術不斷成熟，這家公司開始將數據搬到了公有雲上，而此時，PB級的數據傳輸問題就成為了瓶頸：數據需要在能夠快速調取的情況下（熱狀態下）實現快速遷移。
於是，亞馬遜將一台Snowmobile停在了DigitalGlobe科羅拉多州威斯敏斯特的總部，連接上一台交換機和多條40Gb/s速率的網絡，以1 Tb/s的速率傳輸數據，實現高速數據交換能力，在這種環境下，每輛Snowmobile的數據傳輸需要12.13天。終於，DigitalGlobe在今年第一季度成功遷移了5400萬個文件。
對此，DigitalGlobe公司基礎設施與運營副總裁Jay Littlepage評價說："利用Snowmobile強大的數據傳輸能力，我們得以越來越快地將影像歸檔導入至AWS端，這使得我們的客戶及合作夥伴能夠快速獲取海量數據集……Snowmobile已經成為真正的遊戲規則改變者！"如此看來，100PB的文件傳輸已經有了成功案例，而且Snowmobile的實際應用者還說"這次數據傳輸已經使出洪荒之力了，我很滿意！"
敗北：光纖追不上數據增長速度
進入信息時代，我們常說"數據量呈指數級增長"，此言非虛。根據最新的研究顯示，到2022年，全球攝像頭總量將達到44萬億部。在五年之內，一部智能手機可以運行13個攝像頭，能夠拍攝360度3D視頻，創建複雜的增強現實圖像……在這些改變的背後，無論是數據數量，還是單個數據的大小都將暴增。
過去一部MP4電影幾百MB，如今一部4K電影需要幾百GB，那未來是不是一部全息電影需要幾百TB的空間？也就是說，盡管帶寬級別在不斷增加，但是，數據量級也在同步增加，光纖追不上數據增長的速度，用光纖來點對點傳輸PB或EB級的數據無異於愚公移山，未來物理搬運數據還會是必須。
亞馬遜說卡車運數據比光纖快！是真的嗎？|亞馬遜|數據 ...高速寬帶已經非常快，不差錢的亞馬遜買帶寬不就行了，造卡車運數據幹嘛用？抱著精明的企業家一定不會做賠本生意的想法，筆者收集的 ...
53 分鍾前亞馬遜說卡車運數據比光纖快 是真的嗎？的最新相關信息亞馬遜說卡車運數據比光纖快 是真的嗎？
高速寬帶已經非常快，不差錢的亞馬遜買帶寬不就行了，造卡車運數據幹嘛用？抱著精明的企業家一定不會做賠本生意的想法，筆者收集的了一些數據，也做了一些測算。發現，這個世界真的有 …
亞馬遜說卡車運數據比光纖快！是真的嗎？|亞馬遜|物聯 …
高速寬帶已經非常快，不差錢的亞馬遜買帶寬不就行了，造卡車運數據幹嘛用？抱著精明的企業家一定不會做賠本生意的想法，筆者收集的 ...
4 小時前亞馬遜說卡車運數據比光纖快！是真的嗎？_科技頻道_東 …
高速寬帶已經非常快，不差錢的亞馬遜買帶寬不就行了，造卡車運數據幹嘛用？ 抱著精明的企業家一定不會做賠本生意的想法，筆者收集的了一些數據，也做了 ...
今天EXALEAD亞馬遜說卡車運數據比光纖快！是真的嗎…
EXALEAD亞馬遜說卡車運數據比光纖快！是真的嗎？.rar MD5:189b80e4f9393cee972283b7787d08b7 free virus scan is a free online scan service, utilizing various ...
今天貝哥談科技 - 雪球
亞馬遜說卡車運數據比光纖快！是真的嗎？本文由貝哥談科技發布於2017年8-12 高速寬帶已經非常快，不差錢的亞馬遜買帶寬不就行了，造卡車運數據幹嘛用？
2 小時前黑客就樂了 消費網站密碼普遍強度不夠_服務器x86服務 …
亞馬遜說卡車運數據比光纖快！是 真的嗎？ 4 央媽出手 所有移動支付需實行中央清算 5 2017軟件開發調查：女性比男性薪資低 ... 支付需實行 ...
1 天前評論中心
數據正在加載中，請稍候... 門戶版 博客版(默認) [收藏] 登錄 注冊 首頁 新聞 驅動 評測 社區 下載 驅動精靈 新聞中心 > 亞馬遜說卡車運數據比光纖快！是真的 ...
37 分鍾前蘋果心係九寨溝 捐款700萬元救助災區_服務器x86服務 …
亞馬遜說卡車運數據比光纖快！是 真的嗎？ 4 央媽出手 所有移動支付需實行中央清算 5 2017軟件開發調查：女性比男性薪資低 ... 支付需實行 ...
1 天前亞馬遜雲存儲推18輪數據卡車：可備份100萬GB_網易科技
亞馬遜雲存儲推18輪數據卡車：可備份100萬GB,亞馬遜 雲存儲 服務器 雲存儲服務 aws ... 亞馬遜指出，即使使用光纖連接，上傳100 PB的數據將需要20多年時間。
2016-12-5亞馬遜真會玩，要用卡車傳輸數據，竟比網絡傳輸速度 …
亞馬遜計劃將這輛載有 Snowmobile 存儲設備的卡車開到客戶企業辦公地點，通過光纖插入服務器提取數據，然後到亞馬遜數據中心進行數據轉移，這樣數據傳輸的 ...
2016-12-1相關文章
没有评论:
发表评论