把分散式儲存磁碟空間作為一個公共資源

買賣虛擬貨幣

隨著分散式基礎設施的不斷成熟(計算、儲存、通訊等),磁碟空間資源作為整個分散式系統中的底層設施,我們在秉持這樣一個觀點:把分散式儲存磁碟空間看成一個公共資源,把分散式儲存磁碟空間資源和其他公共資源(例如水和電)進行類比,比如映象網路MW目前已存在300Pb+的磁碟空間資源,這些共享資源是透過技術共識組成的,同時也是易用、可用及免費的,能被終端使用者有效地租賃和使用。採用這個模型可以應用到更多物理資源和邏輯服務上。

公共資源強調參與的均等與使用的公平,主要表現為公共資源應不受性別、年齡、文化背景與教育程式等因素的限制,而被所有使用者公平的使用,“為所有人設計”(Design for all)是其宗旨,比如免費或付費WIFI,機場、車站甚至公交都已鋪設,當然這屬於城市公共資源,而分散式儲存磁碟空間屬於網路公共資源。

大家都知道映象網路MW是區塊鏈+分散式儲存技術方案,這裡區塊鏈就不做過多解釋,本文接下來闡述對分散式儲存技術相關理解,我們對超大規模分散式儲存系統定義如下:

“分散式儲存系統是大量伺服器透過Inetrnet互聯,對外作為一個整體提供儲存服務”。

分散式儲存系統具有如下幾個特性:

【可擴充套件】:分散式儲存系統可以擴充套件到成千上萬臺的叢集規模,而且,隨著叢集規模的增長,系統整體效能及穩定性表現為線性增長。

【低成本】:分散式儲存系統的自動容錯、自動負載均衡機制使其可以構建在普通PC機之上。另外,線性擴充套件能力也使得增加、減少機器非常方便,可以實現自動運維。

【高效能】:無論是針對整個叢集還是單臺伺服器,都要求分散式儲存系統具備高效能。

【易用性】:分散式儲存系統需要能夠提供易用的對接介面,另外,也要求具備完善的監控、運維工具,並能夠方便地與其它系統整合,例如,從Hadoop雲端計算系統匯入資料。

分散式儲存系統的挑戰主要在於資料、狀態資訊的持久化,要求在自動遷移、自動容錯、併發讀寫的過程中保證資料的一致性。映象網路MW在三年前創始至今,我們擬出了以下問題,並致力於一一去解決它,在這裡提供給大家參考:

【資料分佈】:如何將資料分佈到多臺伺服器才能夠保證資料分佈均勻?資料分佈到多臺伺服器後如何實現跨伺服器讀寫與操作?

【一致性】:如何將資料的多個副本(引入IPFS協議後則考慮的是副本的分片加密資料)複製到多臺伺服器,即使在異常情況下,也能夠保證不同副本之間的資料一致性?

【容錯】:如何檢測到伺服器故障?如何自動將出現故障的伺服器上的資料遷移到網路叢集中其它伺服器?

【負載均衡】:新增伺服器和叢集正常執行過程中如何實現自動負載均衡?

【事務與併發控制】:如何實現分散式事務?如何實現多版本併發控制?

【易用性】:如何設計對外介面使用系統容易使用?如何設計監控系統並將系統的內部狀態以簡單方便的形式交給運維人員?

其實分散式儲存技術已存在十餘年之久,映象網路MW只是在不斷探索與區塊鏈blockchain的結合方案,使其成為真正去中心化的分散式儲存,我們認為這才是分散式系統的精髓,目前映象網路MW在全球已有10,000個儲存工作節點,可使用磁碟空間不斷在上升,我們相信這場令人興奮的試驗才剛剛開始。

免責聲明:

  1. 本文版權歸原作者所有,僅代表作者本人觀點,不代表鏈報觀點或立場。
  2. 如發現文章、圖片等侵權行爲,侵權責任將由作者本人承擔。
  3. 鏈報僅提供相關項目信息,不構成任何投資建議

推荐阅读

;