區塊鏈新基建(三):分散式儲存給網際網路帶來了什麼?

買賣虛擬貨幣

本文由分散式資本提供研究支援,以及儲迅資訊科技、Crust Network等代表性企業的交流分享。

基於分散式儲存的前景:分散式儲存為網際網路基礎構架和商業模式帶來的變革與創新空間,將開闢新的儲存應用市場。分散式儲存採用不同於傳統中心化儲存的資源和市場激勵方式,可以解決中心化網際網路架構下安全性、時效性及成本問題,將帶來網際網路基礎架構變革。另一方面,分散式儲存為個人節點加入市場交換創造了基礎,可以深度挖掘資料內容價值,開闢全新的儲存空間和應用市場。目前的分散式儲存仍面臨I/O效能問題、資料價值分層、應用服務質量等技術瓶頸,在實際應用中需要引入中心化組織進行彌補。

以IPFS協議為代表的分散式儲存系統帶來儲存新思路,將成為下一代網際網路基礎設施。IPFS協議是一種檔案儲存和內容分發網路協議,整合了多種成功的分散式系統與區塊鏈技術,為使用者提供統一的可定址資料儲存。其本質是一個P2P的分散式儲存系統,人人都可以作為儲存檔案的伺服器,透過基於檔案內容生成的唯一編碼去訪問網路中的檔案資源。分散式儲存系統可以與去中心化的區塊鏈技術相結合,解決中心化網際網路架構下資料儲存的安全性、使用者協作的時效性和儲存與頻寬成本的問題,將帶來網際網路基礎架構的變革。

分散式儲存將充分激發個人儲存資源和內容貢獻的市場價值,創新網際網路商業模式。全球資料量的爆發式增長推動雲端儲存市場的快速發展,邊緣雲端計算和小型資料中心成為行業趨勢,分散式儲存有望率先開啟個人云儲存市場空間。個人可以將閒置的儲存資源投入到分散式儲存系統進行市場交換,可以在網際網路上安全地進行內容釋出、交換和價值共享,分散式儲存就這樣推動著個人儲存資源市場的資源配置,而這在傳統網際網路巨頭控制中心雲模式下是無法實現的。

分散式儲存已和傳統儲存不斷融合應用,現有的技術瓶頸需引入中心化組織形式進行彌補。現有的儲存解決方案通常將分散式技術與傳統儲存方案相結合:一方面,對資料進行分散式備份儲存,使資料更接近邊緣側,同時避免資料的物理損壞和人為篡改;另一方面,透過一定程度的集中儲存和集中管理來降低系統運維成本,提高服務質量。

現有的分散式儲存仍面臨若干技術瓶頸:

第一,目前的分散式儲存暫時無法實現資料價值分層,難以實現有效激勵,可以考慮將底層構架和應用層策略相結合;

第二,分散式儲存從程式碼實現到協議層都有很大的最佳化空間,還會受到網路規模限制,存在I/O效能問題;

第三,儲存資料價值較高的使用者需要承擔更大的服務質量風險,付費意願較弱,需要應用層解決方案。總之,考慮到系統運維成本、服務質量和巨集觀監管等問題,未來的分散式儲存系統需要引入中心化組織形式來彌補運營成本。

1 核心觀點

1.1 核心推薦邏輯

基於分散式儲存,將開闢新的儲存應用市場。分散式儲存採用不同於傳統中心化儲存的資源和市場激勵方式,不僅僅是充分利用分散式節點資源,而是為個人節點貢獻的內容投入市場交換創造了基礎,從而深度挖掘資料內容價值、開闢全新的應用市場,這在傳統的網際網路公司控制中心雲平臺資料的情況下是無法實現的。同時,分散式儲存與中心化儲存將不斷融合,改變現有的網際網路構架和商業模式。

1.2 我們區別於市場的觀點

1. 市場低估了分散式儲存為網際網路基礎構架和商業模式帶來的變革與創新空間。市場通常將分散式儲存視為一種新的技術,而忽略了分散式儲存帶來的個人儲存資源、使用者內容貢獻價值挖掘和市場交換的潛力。在分散式檔案系統的網際網路上,個人儲存資源可以投入到市場進行資源交換,為使用者貢獻的內容在資料確權、安全的基礎上進行內容價值提供市場交換的平臺。因此,分散式檔案系統將會催生更多的全新的網際網路應用,而非傳統網際網路的技術迭代。

2. 分散式儲存將成為下一代網際網路基礎設施目前,網際網路將海量計算機(智慧移動)終端連線在一起,使得使用者能夠訪問儲存其他計算機終端上的海量資料。資料的傳輸與訪問,是基於HTTP(超文字傳輸協議)為代表的網際網路協議實現的,資料是以計算機(伺服器)終端IP(或者說域名)為地址進行中心化儲存的,具體儲存資料的伺服器節點就像一個集中式的倉庫,要承擔巨大流量訪問、資料傳輸壓力。能否將資料檔案分散存在網路不同伺服器節點上,革新網際網路基礎構架?

類似IPFS這種分散式儲存協議逐漸興起,作為HTTP的補充,打造面向全球、點對點的分散式版本檔案系統,能將所有具有相同檔案系統的計算裝置連線在一起。就IPFS而言,使用者尋找的是儲存在某地方的內容(這些內容分散在不同的伺服器節點),而不是某地址,就只需確認驗證內容的雜湊,這樣就能過獲得速度更快、安全、健壯、持久的網頁。

我們將探討分散式儲存將如何帶來網際網路基礎構架的變革,將創造怎樣的新的應用場景和市場。

2.1以IPFS協議為代表的分散式儲存帶來新思路

IPFS協議是一個將多種成功的分散式系統思路與區塊鏈相結合的檔案儲存和內容分發網路協議,為使用者提供統一的可定址資料儲存。IPFS(Inter-Planetary File System)由Protocol Lab提出,字面意義是星際檔案系統。其本質是一個P2P的分散式儲存系統,將所有具有相同檔案系統的計算裝置連線在一起,目標是補充甚至替代超文字傳輸協議HTTP。

與現有Web協議不同的是,對於一個存放在IPFS網路的檔案資源,不是用基於域名的地址去訪問,而是透過基於檔案內容生成的唯一編碼去訪問,不需要驗證傳送者的身份,只需要驗證內容的雜湊,可以讓網頁的速度更快、更安全。IPFS的網路上執行著一條區塊鏈,即用來儲存網際網路檔案的雜湊值表,每次有網路訪問,即要在鏈上查詢該內容(檔案)的地址。IPFS協議最大的特色是系統的耦合及設計的綜合性,其整合的分散式技術包括BitTorrent協議、版本控制系統Git、MerkelDAG、分散式雜湊表DHT和自認證檔案系統SFS。因此在IPFS系統中,人人都可以作為儲存檔案的伺服器。

IPFS協議借鑑了BitTorrent協議諸多優點,並進行了創新,打造持久且分散式儲存和共享檔案的網路傳輸協議。BitTorrent(簡稱BT)是一種廣泛應用的內容分發協議,特點是充分利用使用者的上載頻寬,使得下載使用者越多,下載速度越快。在中心化儲存的FTP、HTTP協議中,每個使用者下載所需檔案,各個使用者之間沒有互動。如HTTP,每次當同時訪問和下載檔案的使用者過多時,由於伺服器處理能力和頻寬的限制,下載速度會急劇下降,部分使用者甚至會無法訪問伺服器。而BT協議下,分配器或檔案持有者將檔案傳送給一名使用者,再由這名使用者轉發給其它使用者,使用者之間相互轉發自己所擁有的檔案部分,直到每個使用者的下載全部完成。這種方法可以使下載伺服器同時處理多個大體積檔案的下載請求,而無須佔用大量頻寬,因此常用於大型文件和自由軟體的釋出以降低伺服器負擔。

IPFS團隊對BitTorrent進行了創新,增加了信用和帳單體系來激勵每個節點分享資料,稱為BitSwap協議。使用者在BitSwap裡分享資料會增加信用分,從其他節點接受資料則會降低信用分。如果使用者只去檢索資料而不分享資料,信用分就會越來越低,而被其它節點忽略。

類似於於網際網路的七層協議模型,IPFS構架分為八層子協議棧。IPFS作為分散式儲存協議,核心功能包括:檔案內容多人協調和版本可回溯、不可篡改,DHT管理帶來的離散性、伸縮性和良好的容錯性,以及基於IPNS的檔案域名系統。

內容版本方面,IPFS使用分散式版本控制系統Git,支援多人協同工作,記錄每次更新並標記不同的版本號,一旦發生問題,可以將檔案回溯到之前的任何一個版本。本地版本控制系統和集中化的版本控制系統都是由單一伺服器儲存所有檔案的修訂版本,一旦伺服器發生故障,則面臨丟失所有資料的風險。Git是分散式版本控制系統(DVCS)的一種,客戶端除了儲存最新版本的檔案,還把程式碼倉庫和歷史記錄都完整地映象下來。這樣,任何一處協同工作的伺服器發生故障,都可以用任何一個本地倉庫進行恢復。Git還可以比較檔案變化細節,查出誰進行了什麼修改,從而可以在發生問題時快速準確的找出原因。更進一步,許多DVCS系統都可以指定和若干不同的遠端程式碼倉庫進行互動,使用者可以在同一個專案中和不同工作小組的人相互協作,根據需要設定不同的協作流程,而這在以前的系統中是無法實現的。

IPFS團隊對Git資料結構進行改造,在Merkle Tree的基礎上得到了Merkel DAG,擁有內容定址、防篡改、去重三大功能。IPFS將檔案劃分成單個大小不超過256kB的資料塊,每個資料塊擁有唯一的雜湊值,並構造一個Merkel DAG將所有檔案碎片組織起來。Merkel DAG是實現版本化檔案系統的一種核心資料結構,比Merkle Tree的限制更少,但是保留了其兩點精髓:1)父節點雜湊由子節點雜湊決定,即父節點雜湊由子節點雜湊拼接的字串再次雜湊而成;2)父節點中包含指向子節點的資訊。任何一個下層節點的改動都將導致上層節點雜湊值的變動,最終根節點的雜湊值也將變動,因此Merkle DAG的三大功能得以實現:1)內容定址:使用多重雜湊來唯一識別一個資料塊的內容;2)防篡改:資料接受方只需一段Merkle路徑上的雜湊值,就可以檢查資料是否被篡改;3)去重:內容相同的資料塊的雜湊是相同的,可據此刪除重複資料,節省儲存空間。

IPFS的路由功能採用分散式雜湊列表DHT,幫助客戶節點快速找到所需資料所在的節點,具有離散性、伸縮性和良好的容錯性。DHT是一種分散式雜湊表,透過儲存的鍵值對提供查詢服務:鍵值對儲存在DHT中,節點可以檢索給定鍵對應的值,鍵值對的對映由網路中所有的節點維護。在不需要伺服器的情況下,每個節點負責一小部分路由和資料儲存,從而實現整個DHT網路的定址和儲存。即使有節點加入或離開,對整個網路的影響也很小,因此DHT可以擴充套件到非常龐大的節點(上千萬)。DHT具有以下性質:1)離散型:構成系統的節點之間都是對等的,沒有中央控制機制進行協調;2)伸縮性:不論系統有多少節點,都要求高效工作;3)容錯性:不斷有節點加入和離開,不影響整個系統的工作。

IPNS是IPFS的檔案域名系統,像HTTP系統的域名(網址)一樣,使使用者搜尋檔案時只需查詢檔名,而不受檔案內容變更的影響。IPFS中檔案的雜湊值完全取決於檔案內容,不僅難以記憶,一旦修改檔案內容其雜湊值也會發生改變,每次更新檔案後都需更新引用的雜湊值,十分不便。為了能夠在不破壞其連結的情況下更改檔案內容,IPFS團隊使用了一種標記更新網址雜湊的域名系統,即星際名稱系統IPNS。IPNS是一個去中心化的命名系統,使用類似雜湊的地址安全地指向可變內容,每個檔案都可以被協作命名為易讀的名字,透過搜尋就可以找到檔案。自認證檔案系統SFS對檔案進行命名,同時提供了IPNS以解決傳播問題,很好地解決了當前使用者不習慣輸入雜湊值訪問檔案的問題,在現有的網際網路系統和IPFS系統間搭建了一個橋樑。

簡單的說,基於IPFS協議儲存的檔案是打散成許多可驗證的碎片檔案(資料透過雜湊值編碼進行唯一標記),分佈在網路中,訪問者透過內容編碼找到這些檔案的位置後進行下載,由於是分散儲存(同一個內容可能多臺伺服器儲存),不必須要求所有節點伺服器都必須線上,以此IPFS希望達到建立持久且分散式儲存和共享檔案的網路傳輸協議的目標。而HTTP為代表傳統的中心化儲存差別十分明顯——HTTP的檔案是中心化的方式儲存,透過檔案的域名進行訪問,且域名檔案伺服器需要保持線上,否則將無法訪問。

2.2分散式儲存將帶來網際網路基礎架構變革

隨著網際網路與通訊、人工智慧、物聯網、雲端計算/邊緣計算等技術的發展,萬事萬物都可以被記錄並用資料表達,資料從單一內部小資料向多元動態大資料轉變。據IDC預測,全球資料圈的規模將由2018年的33ZB增長至2025年的175ZB,且文字、圖片、影片等非結構化資料將擁有更高的增長率,在整體資料圈的佔比也將持續增加。因此,需要更先進的網際網路基礎架構來對資料進行採集、儲存和利用。

目前,中心化網際網路架構下的主要問題集中在安全性、時效性和集中化三個方面,而以IPFS為代表的分散式儲存協議將透過解決以下問題帶來網際網路構架的變革:

傳統的HTTP協議使用非對稱架構實現網路的高併發,但是中心伺服器難以負擔過大的傳輸資料量,影響使用者體驗,雲端計算廠商和電信運營商需要為此付出較大的裝置成本。IPFS協議解決了熱點檔案的儲存問題,但一個檔案只有被不斷訪問才能確保其儲存有效性,冷門且具有價值的檔案容易丟失,主要原因是激勵層缺失導致的節點不穩定性。目前,一種對標IPFS的分散式技術HTTPX(網格裂變系統)也在悄然崛起,提供去中心化的CDN服務、儲存服務和GPU算力服務。HTTPX兼顧了HTTP協議的優勢,對路由和傳輸邏輯進行重新定義,採用對稱架構,將網路的分裂做到了前所未有的程度。

HTTPX是一種更輕量化、更靈活、效能更加完善的P2P技術。HTTPX的技術架構設計屬於網格設計,每一個節點既是獨立個體也是全域性功能體,可以支援儲存、計算和傳輸資料。使用者連線最近的節點接入HTTPX網路,該節點將定址找到臨近節點,發現百萬級別的資訊,定位資源儲存節點,並透過最優網路傳輸路徑回傳到使用者臨近節點。HTTPX和IPFS相比具有明顯優勢,有望將雲端計算服務推向新的高峰:

1)高效能:網格系統設計大幅縮短使用者到節點的物理距離和網路距離,實際測試中TTL下降60%,提供更低延時的優質服務響應;

2)低成本:為產業鏈服務,定價較低;硬體相容性高,可部署到家庭、社羣、辦公場所;

3)相容性強:相容HTTP、HTTPS協議,同時提供高階HTTPX開原始碼接入模式;

4)實力雄厚:採用P2P思想,CDN支撐能力出眾;提供儲存、GPU資源的挖礦模式,真正做到一機多用。

5)快速釋出:頻寬需求大,釋出週期短,資源提供方不用擔心專案延期帶來的資本週轉問題。

3分散式儲存開闢網際網路基礎設施產業新格局

3.1分散式儲存開發新的儲存市場

全球資料量的爆發式增長推動雲端儲存市場的快速發展。雲端儲存是一種以資料儲存和管理為核心的雲端計算服務,指透過叢集應用、網路技術或分散式檔案系統等,將網路中大量不同型別的儲存裝置透過應用軟體集合起來協同工作,共同對外提供資料儲存和業務訪問功能的系統。換句話說,雲端儲存就是將資源放到雲上供人存取,使用者可以在任何時間、任何地點,透過可連網裝置連線到雲上方便地存取資料。

根據雲端儲存服務性質的不同,可以分為公有云、私有云和混合雲。其中,公有云面向包括個人、家庭、企業在內的多種客戶;私有云由企業或組織使用及維護,使用者在個性化等方面有更多的控制權;混合雲將公有云和私有云進行混合和匹配,達成相對高價效比解決方案。據IDC預測,2025年中國資料規模將達到48.6ZB,其中超過80%為非結構化資料,且由於發展滯後北美4-5年,中國雲市場增速高於全球水平。2018年中國雲端計算整體市場規模達962.8億元,增速為39.2%。其中,公有云市場規模達到437億元,增速為65.2%,預計接下來三年內仍將快速增長。

分散式儲存將開闢新的應用場景,充分激發個人儲存資源和內容貢獻的市場價值,創新網際網路商業模式。隨著分散式儲存技術和生態的發展,將充分激發個人儲存資源市場的資源配置,激勵更多的個人儲存資源進入市場——即個人可以將閒置的儲存資源投入到分散式儲存系統進行市場交換,這在傳統網際網路巨頭控制中心雲模式下是無法實現的。更重要的是,個人在網際網路上的內容共享將可以安全地進行釋出、交換和價值共享。如D.Tube是一個加密分散式影片平臺,建立在STEEM區塊鏈和IPFS點對點網路之上,目標是成為YouTube的替代品,允許使用者在IPFS基礎上觀看或上傳影片,並在不可變的STEEM區塊鏈上進行分享或評論,同時賺取加密通證。D.Tube的所有資料都是公開的,任何有網際網路連線的人都可以對其進行分析,無需廣告即可執行,提供了最佳的使用者體驗。可以這樣說,幾乎任何現有的網際網路應用都可以遷移到分散式檔案系統上,獲得新的體驗和創新商業模式,這裡面的想象空間是無限的。

邊緣雲端計算和小型資料中心成為行業趨勢,分散式儲存有望率先開啟個人云儲存市場空間。2019年11月,手機上網使用者規模達13.1億,個人網盤月度活躍使用者超1億,個人儲存市場仍有龐大的潛在使用者基礎和可利用儲存空間。面對資料規模的高速增長,邊緣雲端計算和分散式儲存成為行業趨勢,利用分散式檔案系統將個人閒置的儲存資源投入到網路中,進行市場交換,將成為分散式儲存率先進入的領域之一,目前已有這方面的初創應用。

3.2分散式儲存已和傳統儲存不斷融合應用

在分散式儲存的實際應用中無法避免一定程度的中心化,因此常和傳統儲存方案融合應用。分散式儲存會帶來系統效能和管理成本的問題,因此現有的儲存解決方案通常將分散式技術與傳統儲存方案相結合:一方面,對資料進行分散式備份儲存,使資料更接近邊緣側,同時避免資料的物理損壞和人為篡改;另一方面,透過一定程度的集中儲存和集中管理來降低系統運維成本,提高服務質量。

案例1):儲迅的分散式儲存雲服務

上海儲迅資訊科技有限公司(StorSwift)是一家專注於企業生產資料儲存和管理的高新技術企業,核心團隊來自於美國儲存公司Rasilient,有超過15年的儲存行業研發和運維經驗。儲迅在大規模儲存運維、儲存安全及效能最佳化領域擁有核心的硬體軟體技術,迄今為止已部署和儲存超過300PB的關鍵業務儲存資料,其中對影象資料的儲存和處理在業界處於領先地位。儲迅已在安防、醫療、媒資等行業提供了成功的儲存解決方案,和因特爾、中國移動等多家企業開展業務合作。

儲迅為企業提供專業的分散式資料儲存方案,在資料儲存最佳化、I/O最佳化、大規模系統運維管理等方面經驗豐富。主打產品有高效能分散式檔案系統、分散式塊儲存、分散式物件儲存閘道器等,同時提供從硬體選型到挖礦程式最佳化、儲存效能最佳化、運維排程等一整套的Filecoin解決方案。和傳統的集中資料中心儲存相比,分散式儲存的優點在於資料儲存更加分散,對地理位置的依賴性更弱,可以規避多種風險,實現企業輕資產運營,降低運維成本。

案例2):CRUST連結分散式雲

CRUST是基於有意義工作量證明機制(MPoW)和擔保權益證明共識(GPoS)構建的數字加密應用層,同時也是一種支援去中心化儲存與計算的新一代區塊鏈技術。CRUST實現了去中心化儲存的激勵層協議,適配包括IPFS在內的多種儲存層協議,並對應用層提供支援:第一層量化資源和工作量,提供了一個讓所有人都能認可的計算方式MPoW,這是解決問題的根本;第二層利用GPoS達成共識,共同維護網路;第三層為使用者提供去中心化的儲存服務和檢索服務,同時CRUST的架構也有能力對去中心化計算層提供支援,構建分散式雲生態。

CRUST與Filecoin最大的不同點是採用了可信執行環境(TEE),核心概念是用一個第三方硬體為載體,保證其中建立和執行的資料不可被攻擊和篡改。主流的晶片廠家如Intel、AMD、ARM等,生產的CPU內都有TEE空間,可以在其中執行開源的、透過CRUST社羣成員認可的程式包,實現對資源量化工作的監督,進而把量化證明透過簽名傳送到區塊鏈網路。

Filecoin對節點工作量的證明採用的方法是零知識證明和網路交叉驗證,同樣是開源演算法,但是帶來了硬體消耗和頻寬需求的問題,還需要刻意提高演算法的複雜度來保證節點短時間內不能作弊。TEE則解決了這些問題,在本地就可以完成資源證明過程,降低網路資源佔用,簡化工作量量化的過程。另外,由於TEE內程式對資料進行封裝儲存時無須擔心被篡改,演算法效率更高,使用者可以獲得更好的使用體驗。

4 分散式儲存面臨的技術瓶頸與發展機遇

4.1 資料價值分層是分散式儲存經濟激勵的關鍵

不同資料的市場價值是不同的,不同個體對相同資料的價值判斷也並不一致。而儲存節點並不知道資料的內容、難以評判資料價值的情況下,如何有效將儲存激勵與資料市場價值做到最佳化配置?

資料價值分層是甄別資料價值以及實現有效激勵的關鍵。分散式的節點負責儲存資料碎片,但並不知道資料內容以及資料的價值,也就是說,礦工的工作量衡量如果不能考慮資料價值的因素,就很難實現更最佳化的市場激勵調節。以Filecoin採用的時空證明(PoST)機制為例,礦工節點的儲存工作量衡量,與檔案碎片內容的資料價值無關。Filecoin目前並沒有對資料價值進行具體分層,只做了垃圾資料和可驗證資料的區分。目前現存的共識機制,均僅限於礦工的儲存工作量衡量,而無法代表資料價值。礦工節點的物理損毀、網路服務質量差的成本是以經濟激勵來衡量,但因此造成的使用者資料服務質量和資料價值損失並不對等。簡單說,礦工最多損失的是系統經濟激勵,而使用者損失的可能是資料的損毀或極差業務服務質量——畢竟對於礦工來說,資料的價值是的核心衡量因素是儲存容量。

應考慮底層構架和應用層結合的方式解決資料分層問題。解決資料價值分層,對分散式儲存的經濟激勵十分關鍵。在基礎構架層面難以單獨解決,必須結合應用層來實現。結合應用場景,在應用層實現資料的分層,從而實現礦工節點的分層;如,對於一些服務質量、內容價值較高的資料,則可以圈定一個激勵價格較高的礦工市場,同時對礦工節點的硬體配置、服務質量做更高的要求。這類應用在私有網路、區域網更方便實現。針對不同的應用場景,採用不同的應用層策略。也就是說,廣泛而統一的分散式儲存網路很難滿足各個場景和使用者個體的需求,針對不同場景採取不同的應用層解決方案來完成資料價值分層是可行的方案。

4.2 I/O效能瓶頸需要底層和應用層聯合最佳化解決

分散式儲存會帶來系統I/O效能問題。和傳統儲存系統相比,分散式儲存需要將檔案打碎、多節點備份儲存,在查詢使用資料時需要進行大量碎片檔案的排程工作,工程量極大。另外,當檔案較大時,用於內容定址的雜湊表也會很大,定址時間也會更長。更為關鍵的是,礦工節點的網路資源狀況對網路I/O效能的影響也存在諸多不確定性,尤其是那些流媒體資料,若某些資料碎片的節點網路狀況較差,則會影響整個資料檔案的訪問服務質量。中心化儲存下,透過CDN等手段可以解決這些問題,擁有較好的客戶體驗。因此,現有的分散式儲存系統的I/O效率是技術效能方面首要考慮的問題之一,從程式碼實現到協議層都有很大的最佳化空間,還需要進一步突破。

實驗測試顯示IPFS的I/O效能還有待進一步改善。由於採用分散式儲存,檔案的讀取受到節點自身及全網其它節點的影響,主要包括:節點數量和穩定性、頻寬、網路(地理)位置等。來自復旦大學的研究人員對IPFS的I/O效能做了一項實驗,並和HTTP進行對比,以驗證IPFS網路處理請求時的延遲和吞吐量表現。遠端讀取操作的平均延遲方面,當請求是小的請求時,在1k-4k間,HTTP延遲比IPFS低。遇到16-256k之間的檔案,IPFS的延遲狀況優於HTTP。當處理大檔案請求時,IPFS在延遲上的表現不盡人意,尤其是請求大小超過16MB時,IPFS的處理時間接近了20秒。超過64MB時,延遲更是可以達到70秒,是HTTP(10秒)的7倍。當然,這是實驗室測試條件下的結果,在實際應用過程中,尚未有具有說服性的案例;無論如何,IPFS等分散式儲存方案若想替代HTTP等中心化方式,還有很多底層技術構架、協議和應用生態方面的改進與探索。

分散式網路的傳輸效率還非常依賴網路規模,激勵機制有待完善。P2P的檔案互動傳輸協議採用的是打散檔案、多點續傳的方式,傳輸效率十分依賴分散式網路中的節點數量。因此,需要完善激勵機制,使節點使用者在自己無下載需求時仍積極接入網路,為其他使用者提供儲存服務。當去中心化網路中線上的節點數比較穩定之後,傳輸速度會更快。從長遠來看,協調好多點續傳以後的去中心化儲存系統擁有十萬甚至百萬級的節點數量,系統I/O效率才有望比擬當下中心化+CDN儲存的系統效率。

4.3 服務質量保障

去中心化系統的服務質量還有很大的最佳化空間。分散式儲存市場上現有的落地應用不多,普遍面臨節點數量規模不足、應用層開發不夠完善等問題,使用者使用體驗無法和成熟的中心化儲存產品相比,因此付費意願也較弱。因此,要解決如何用不可靠的分散式節點提供可靠的儲存服務這個問題,首先要設定共同認可激勵和懲罰機制,其次還需要透過經濟激勵之外的手段(如運營機制檢查)來規範礦工行為。

儲存資料價值較高的使用者需要承擔更大的服務質量風險,亟待應用層解決方案。區塊鏈只負責監控礦工工作量的完成情況並予以獎懲,但是無法彌補使用者損失,因此服務質量問題交由應用層來解決。比如,可以根據礦工的歷史懲罰記錄區分服務質量等級,使用者需要儲存重要資料時,可以資源選擇收費更多的、質量更高的儲存服務。只有當越來越多的使用者願意消費,網路中的節點越來越多時,去中心化儲存系統的整體效率才能提升,服務質量才更有保障。因此,考慮到系統運維成本、服務質量和巨集觀監管等問題,分散式儲存系統無可避免地會存在一定程度的集中管理和控制。

4.4 在應用、運營層面中心化組織與分散式儲存將進一步融合

顯然,分散式儲存在I/O瓶頸、資料價值分層和應用服務質量方面需要引入中心化組織形式來彌補運營成本。分散式儲存所面臨的上述問題,給應用帶來了較高的運營成本,因此可以引入中心化的組織方式來彌補高昂的運營成本,就像BitTorrent採用中心化的方式來管理雜湊表DHT一樣。簡單說,資料碎片可以分散式儲存,但在不同的應用場景可以引入一些限制。例如,I/O瓶頸方面,針對那些對I/O效能較高的應用,如流媒體資料,則以激勵方式鼓勵節點在適當的物理位置或提高節點I/O效能。在資料價值分層方面,對於一些特別重要的資料,核心資料採用中心化的儲存、一般資料採用分散式儲存,這類相結合的方式是較為現實的解決方案。應用服務質量方面,限制資料檔案儲存的物理和網路位置、QoS保障,來確保資料檔案的安全,因此,需要對此類礦工進行一些激勵補償。另外,在應用層面,複雜且較長IPNS對於使用者是較難記憶和操作的,類似於DNS服務實現IP地址和域名之間的管理一樣,利用中心化的方式解決IPNS使用者不友好的,引入類似檔案儲存域名的服務,這也是中心化與分散式儲存進一步融合的方向。

免責聲明:

  1. 本文版權歸原作者所有,僅代表作者本人觀點,不代表鏈報觀點或立場。
  2. 如發現文章、圖片等侵權行爲,侵權責任將由作者本人承擔。
  3. 鏈報僅提供相關項目信息,不構成任何投資建議

推荐阅读

;