Filecoin如何實現大規模離線資料傳輸?

買賣虛擬貨幣

協議實驗室 編制  IPFS原力區 編譯

Filecoin為何誕生

Filecoin旨在儲存世界上最有價值的資訊,它基於區塊鏈技術,創造了分散式儲存交易市場。區塊鏈技術提供了安全的儲存保證,加密資產機制創造了動態的市場。

目前在全球範圍內,我們每天都大約產生2.5億位元組的資料,其中一些資料涵蓋了人類在科學、數學、藝術、歷史和人文科學領域創造的最重要的資訊。

然而當處理大量資料時,你就會發現我們很難透過Internet傳輸這些檔案(昂貴且耗時)以進行保管。對於PB級資料集和更大的資料集,最明智的解決方案通常涉及在硬碟上傳輸資料。

因此,Filecoin想利用協議和專案製造的工具和結構來支援離線資料傳輸。

為什麼要離線資料傳輸

決定線上還是離線傳輸資料,我們需要考慮兩個關鍵因素:費用&時間

舉個例子:一個博物館或圖書館(資訊量巨大),希望在分散式web (dweb)上上傳、儲存和保護它的收藏。

  • 費用

線上傳輸:在當今的雲服務中傳輸PB級資料需要透過多個區域傳送資料,這會產生互連費和區域頻寬費,如果你選擇租用專用線路或考慮重試需求,還會產生額外費用。粗略的成本來看,僅頻寬傳輸2.5 PB的資料就需要花費約140,000美元;如果跨區域傳輸這些資料,則成本會更高

線下傳輸:考慮硬碟驅動器本身的成本,伺服器級8TB驅動器的價格約為200美元。要傳輸2.5 PB的資料,你將需要大約315個硬碟驅動器,總計約為63,000美元。儘管你可能需要支付一些額外的運輸,進口費用和貨幣兌換單位成本,但總體算下來成本遠低於線上傳輸!

  • 時間

線上傳輸:以100Mbps的速度傳輸500TB的資料需要一年多的時間。

線下傳輸:用硬碟驅動器傳輸相同的資料僅需花費下載和傳送的時間,大概一週之內就可以完成!

歸根結底,很明顯,在某些情況下,物理傳輸資料的成本效益更高且速度更快。

Filecoin如何支援離線傳輸

當儲存較少的資料時,礦工和客戶協商交易後,客戶通常可以直接線上傳輸給礦工即可。

當儲存大量的資料時,Filecoin的離線資料傳輸功能使客戶可以離線完成資料傳輸步驟(例如,透過將硬碟從客戶端運送到儲存礦工),並按預期的順序進行交易。

Filecoin會透過一個標誌告訴客戶端不要透過網路傳輸資料;而客戶端會傳遞一個CID(描述資料的唯一識別符號),礦工必須匹配該CID,才能透過交易。這為客戶端節點提供瞭如何設定交易的靈活性,例如,在硬碟傳遞特定位置給礦工,以供他們用來生成分段CID的資料。

Filecoin專案如何支援離線傳輸

  • Filecoin Discover

該專案旨在激勵早期礦工訂購和儲存裝有有價值的開源資料的硬碟,並作為交換,獲得額外Filecoin。

這是一種幫助Filecoin成為人類最重要的資料集之家的種子,並使其他人可以訪問它的方法,也能擴大我們的知識庫並形成新的想法。

  • 儲存裝置提案

4月,Filecoin提出了一項有關儲存裝置(類似於AWS Snowball)的提案請求,以實現更快的離線資料傳輸。

該RFP的目標是構建冗餘且安全的低成本硬碟解決方案。礦工可以在設定的期限內租用這些裝置,以保持資料傳輸。客戶端可以將資料載入到這些裝置上,而礦工則在收到資料後將其解除安裝到自己的伺服器上。

離線傳輸的意義

考慮一下海上的一艘潛水艇,它收集了PB級有關太平洋水下生物的資訊。當船舶返回陸地時,郵寄這些硬碟驅動器可能更有意義,而不是依靠線上資料傳輸。

在我們致力於web去中心化的過程中,大量資料的物理傳輸將繼續在資訊傳播中發揮重要作用。展望未來,EB級的資料傳輸(例如AWS Snowmobile)是資料傳輸發展的下一步。

最終,離線資料傳輸之類的解決方案將使Filecoin成為傳統雲端儲存平臺的更強大替代品——如果儲存成本下降,小企業也將能夠節省更多的資金用於僱用或研發。

原文連結:https://filecoin.io/blog/offline-data-transfer-for-large-scale-data/

免責聲明:

  1. 本文版權歸原作者所有,僅代表作者本人觀點,不代表鏈報觀點或立場。
  2. 如發現文章、圖片等侵權行爲,侵權責任將由作者本人承擔。
  3. 鏈報僅提供相關項目信息,不構成任何投資建議

推荐阅读

;