原力礦池的分散式儲存節點軟體系統

買賣虛擬貨幣

分散式儲存節點軟體系統

  • 原力礦池分散式儲存節點軟體系統是基於 IPFS, 由管理節點和資料服務節點組成,具備以下功能:
  • 實時(秒級)檢測叢集內資料服務節點的存活狀態, 在感知到節點網路異常後, 自動完成異常節點離網以及節點恢復後的重入網;
  • 根據客戶端-資料服務節點的網路延遲, 和資料服務節點-管理節點之間的通訊情況, 結合資料服務節點的介面響應時間、CPU 使用率、記憶體使用量等軟硬體指標,動態地向每個客戶端推薦最優的節點列表;
  • 透過 token 機制對客戶端呼叫上傳下載介面的許可權、資料量、時效等進行細粒度的管理;
  • 實時地根據儲存空間餘量、IO 負載等指標將所有節點動態劃分為讀優先節點和寫優先節點,對使用者的上傳下載請求進行分流,充分利用叢集內所有節點的硬體資源;
  • 提供可定製的資料冗餘策略,將使用者資料丟失的可能性降到最低,並根據使用者的請求統計,調整冷熱資料的分佈,最大程度地降低資料的儲存成本。

軟體特性

原力礦池分散式儲存節點軟體系統在實現過程引入了一些新的思路, 使其相比常見的分散式儲存系統,具備以下特性:

  • 基於傳輸協議檢測的埠複用: 資料服務節點可以偵測同一個埠上連入的 TCP 連線所使用的傳輸協議,如 HTTP1.0/1.1、HTTP2 等,再分發到不同的內部模組,從而精簡了節點所佔用的埠數量。
  • 無狀態的管理節點: 藉助 IPFS 本身的網路拓撲狀態維護機制,我們得以將原本由管理節點統一維護的一些狀態資訊分散到各個資料服務節點上,再搭配資料服務節點主動搜尋管理節點並重連的機制,使管理節點具備了異常後快速恢復的能力,同時也具備了按需快速增減的能力;
  • 資料服務節點和管理節點之間高效通訊: 透過使用 Google 公司開源的 gRPC 實現流式遠端呼叫,實現了節點間的高效通訊, 具體體現在連線數量、資料壓縮、實時異常感知等方面;
  • 外掛式的附加功能擴充: 透過一套統一的介面定義和資料格式定義,可以方便地開發各類功能外掛,快速整合到已有的 IT 基礎設施中,比如將本系統的指標資料整合到 Prometheus 監控平臺,並透過 Grafana 提供圖形化的指標展示或告警等功能。

架構

一個典型的原力礦池分散式儲存節點軟體系統叢集由少量管理節點和較多的資料服務節點組成。管理節點和資料服務節點的數量均可以按需擴縮容。除此之外,叢集中還可以靈活地新增其他功能節點, 如監控,冷資料儲存等。

免責聲明:

  1. 本文版權歸原作者所有,僅代表作者本人觀點,不代表鏈報觀點或立場。
  2. 如發現文章、圖片等侵權行爲,侵權責任將由作者本人承擔。
  3. 鏈報僅提供相關項目信息,不構成任何投資建議

推荐阅读

;