Lambda價值網際網路儲存基礎設施

Lambda是一個安全、可靠、無限可擴充套件的去中心化儲存網路，基於Lambda Chain 共識網路之上實現資料的去中心化儲存、資料的完整性和安全性驗證和市場化儲存交易的執行，為新一代價值網際網路提供可無限擴充套件的資料儲存能力。去中心化儲存資料儲存安全是核心，Lambda採用PoST時空證明演算法保證資料的儲存安全，同時Lambda Chain實現了VRF+BFT的共識演算法保證共識網路的運轉效率與可靠性。同時Lambda透過交易市場連線儲存供應方（礦工）與儲存需求方（使用者），在鏈上完成去中心化交易。儲存方面Lambda首先實現一個分散式資料分發儲存網路，具體儲存形態將逐步完善並應用到實際的業務系統中。技術元件Lambda主要由以下元件構成：共識網路，Lambda共識網路由千個節點組成，基於VRF和BFT作為共識協議、該網路中可完成LAMB交易、並作為儲存資源提供者與儲存使用者的聯結器為雙方提供匹配、計費、獎勵、懲罰、資料驗證等能力，是去中心化儲存的安全、可驗證、彈性的保證。儲存網路，Lambda系統中儲存網路與共識網路是邏輯解耦的，儲存網路可以為多樣的，去中心化的或其他方式提供儲存能力，儲存網路是一個異構的網路，但是需要遵循Lambda資料完整性驗證的互動協議。

交易市場，Lambda需要為儲存服務提供者與使用者之間提供交易的能力，使用者租用儲存空間，併為之付費，儲存服務提供者獲取應得的服務收益，交易的達成是非高頻操作，交易完成後使用者可以實時獲取儲存服務能力，而無需實時匹配儲存與檢索資源，達到資源實時訪問能力，從而使Lambda真正成為程式可訪問的儲存公鏈。開發包，開發包是Lambda儲存生態重要的技術元件，Lambda開發包提供通用的儲存訪問能力，包含資料上行與下行介面，且該介面遵循已有云儲存介面規範，使得使用者可以無縫切入到Lambda系統中。該開發包也提供其他儲存方案接入到Lambda的能力，使得Lambda可以成為一個異構的儲存網路，為不同的儲存需求提供儲存服務。流程概述Lambda是一個去中心化儲存網路。該生態中發行原生LAMB數字貨幣，LAMB數字貨幣登記在賬本之上，由Validator組成的共識網路負責維護賬本，在此過程中，Validator獲得出塊獎勵。同時，Validator也負責儲存礦工證明資料的驗證。儲存礦工是整個網路的核心，儲存礦工首先向整個生態系統提供儲存能力，負責儲存使用者的資料，並在每一個出塊週期內向全網提供儲存證明。儲存證明和儲存容量數達到一定閾值的儲存礦工可透過競爭成為Validator候選人，同時需要向網路質押LAMB，成為出塊的候選節點，也就是Validator，Validator有動態的更新機制，會在固定的週期之後進行更新，增選新的儲存礦工成為Validator，同時淘汰不能及時提供儲存證明的Validator。儲存與檢索礦工：提供全網的儲存與檢索服務。儲存礦工完成資源準備，向網路質押與儲存資源量相當的LAMB成為礦工。檢索礦工直接向網路質押極少量LAMB成為檢索礦工。儲存與檢索礦工透過提供服務獲取LAMB。儲存礦工透過積累信譽與儲存量晉升為Validator，獲取共識網路的出塊獎勵。尚未晉升為Validator的儲存礦工也有機會獲取部分出塊獎勵。儲存與檢索交易：儲存礦工與檢索礦工完成質押後進入內建交易市場，Lambda內建交易所將儲存礦工按照掛單價格與儲存量進行池化合並。客戶提出購買訂單時系統根據價格、儲存空間等條件自動完成匹配，客戶消費資金將被一次性託管到網路中。共識網路根據儲存礦工與檢索礦工實際提供的服務量進行週期性的資金結算。

儲存證明：儲存礦工透過週期性的提供儲存證明，以獲得使用者支付的儲存費用。儲存證明根據前塊中的隨機挑戰欄位生成挑戰引數根據LAMB-PDP演算法生成一段時間內的證明集合，並廣播到網路中，由Validator對證明集合進行驗證並標記狀態，並對該結果透過共識協議確認儲存到區塊鏈中用於獎勵懲罰、修復訂單、清算費用等。術語約定ValidatorValidator，作為共識候選節點負責打包交易、共識出塊、驗證儲存證明、執行合約對儲存與檢索訂單進行匹配與費用清算；成為Validator有兩種方式，第一種是系統內建的Validator，初期對Lambda生態作出貢獻可成為Validator，此類Validator有特殊標識，有可能不參與出塊獎勵，並需要逐步退出。第二種是透過礦工升級成為Validator，最終，全部的Validator都是由礦工升級而來。因此，從這個意義上說，Lambda網路是一個對等網路的p2p系統，不存在中心化節點，也不存在預設可信的超級節點。StorageMiner儲存礦工，提供儲存服務的節點稱為儲存礦工，儲存礦工透過質押LAMB成為礦工，儲存礦工可以透過為需求方，也就是使用者提供儲存能力並提供儲存證明獲取儲存收益，同時有機會成為潛在的Validator。

RetrievalMiner檢索礦工，為下載資源的使用者提供下載服務，檢索礦工質押少量LAMB可以隨時接入系統為使用者提供下載服務，檢索礦工主要為檢索資料獲取按量計費的收入。LAMB-PDPLambda資料完整性證明基於PDP、POR證明，Lambda對公開可驗證方案進行了最佳化，使得儲存證明的挑戰輸入由鏈上引數進行生成，儲存礦工執行預定義的證明函式生成多次證明的證據鏈，證據鏈提交到網路中，由出塊的Validator進行驗證。Local Node鏈本地節點，儲存礦工需要加入分散式儲存系統，同時需要執行Local Node加入鏈中，用於執行鏈上的操作，如質押、提交訂單、清算驗證等，Local Node可以為全節點參與賬本的完整驗證，也可以為輕節點只用於完成鏈上操作。

Sector扇區，儲存礦工使用扇區為單位對儲存資源進行劃分與鏈上登記，以扇區為單位對資料進行完整性驗證，使用者以訂單檔案為單位向系統進行購買儲存空間，儲存礦工以實際儲存資料量進行費用的結算，通常結算週期為N個塊週期，N為可變引數。扇區為虛擬的資料結構，是儲存在礦工處的資料的組織形式。Order訂單，儲存客戶以扇區為單位進行儲存空間的購買，即 /GB/C為單價，C為系統可變引數，通常為M個出塊週期，等同於天、月、年等。Piece片段，通常一個客戶的大檔案需要進行分片上傳到儲存礦工處，片段長度固定為L，L為系統引數，L後續可能根據系統需要由社羣進行修改，如檔案小於L長度，則按照L長度計費。

ProofSet證明集合，儲存礦工以扇區為單位進行儲存證明，儲存證明為鏈式資料，證明結果集廣播到共識網路中，由Validator進行驗證與打包，證明集合儲存到區塊鏈中。證明集也需要儲存礦工的輔助儲存，用於較少整個系統的通訊流量。WalletLambda 錢包，錢包中包含LAMB交易功能、LAMB餘額查詢功能、使用者方歷史購買訂單與有效期展示功能，礦工方扇區質押資訊與使用資訊、費用結算資訊等。ConsensusNode共識節點，所有Validator都有可能成為ConsensusNode，ConsensusNode是臨時角色，每個出塊週期都需要透過VRF重新選舉。

ValidatorTableValidator節點表，儲存一定時期內所有有效的Validator，初始Validator在網路啟動時初始化寫入，後續節點的新增與淘汰由社羣治理合約進行修改，並經過共識同步全網。SystemContracts系統合約，系統合約為內建合約，Lambda系統中有若干預設合約，在出塊時自動執行，包括社羣治理、預設交易市場、費用清算、訂單修復等。SpaceID顯式儲存空間識別碼，Space ID可以在內建交易中心中購買，用於與礦工一定儲存空間的唯一繫結，SpaceID在儲存交易市場訂單匹配時具有優先匹配權。一個SpaceID代表一定儲存量的匹配權。系統中SpaceID供給總量與礦工的總儲存空間相關，SpaceID可以在礦工之間交易轉讓。

Exchange交易市場，交易市場這裡特指儲存交易市場或檢索交易市場，Lambda系統中支援多個交易市場，由不同的獨立第三方運營，運營者可以自己定義商業規則，爭取更多的礦工和使用者使用該交易市場，同時會獲得更多的收益。交易與合約交易轉賬交易：指LAMB在不同賬戶中轉移的交易，包含交易量、手續費等。質押空間交易：指礦工使用一定量的LAMB將待售賣的儲存空間註冊到網路中，包含空間、質押量等。

撤銷質押空間交易：指滿足最小質押週期後，礦工可以取消質押空間，收回LAMB，包含質押ID等資訊。Validator質押交易：指礦工滿足一定條件後可質押固定數量的LAMB晉升成為Validator參與共識網路。Validator撤銷交易：指Validator主動撤銷共識節點身份，收回LAMB的交易。出售空間交易：指礦工質押空間後，在交易市場中公佈其價格的交易，包含空間量、價格、有效期等。出售流量交易：指檢索礦工透過指定的交易市場出售流量的交易，包含價格等。購買空間交易：指使用者透過指定的交易市場自動發起的買單交易，包含空間量、價格、有效期、安全級別等。

購買流量交易：指使用者透過指定的交易市場Agent自動發起的購買流量的交易。購買Key交易：指礦工透過購買Key增加自身信譽度，以更好優先順序匹配到訂單。封裝儲存轉售交易：礦工可以將已經儲存的訂單轉售，集合更多的儲存空間以實現利益最大化。合約礦工質押合約：該合約完成礦工空間的質押、撤回等並進行相應安全檢查。Validator質押合約：該合約完成Validator質押，以及Validator表的更新操作。

儲存交易市場合約：該合約可由不同主體運營多個，完成礦工和使用者的儲存需求匹配。檢索交易市場合約：該合約可由不同主體運營多個，完成礦工和使用者的檢索需求匹配。封裝儲存轉售合約：該合約完成儲存空間的轉售以及利益分配關係的維護。借貸合約：該合約可允許LAMB持有者存入LAMB以收取利息，也可為礦工或使用者提供借貸服務，收取利息。協議與合約Validator

Lambda 採用Validator維護共識網路，系統內的Validator數目= 初始官方運營數 + 其他友好第三方運營數 + 礦工晉升數 == 1024個。其中，礦工晉升數最終會達到1024，其他節點則有序退出。儲存礦工需要質押扇區PledgeSector<SIZE,LAMB>，正式成為候選礦工，訂單匹配後封裝扇區並在鏈上查詢到PoST證明後成為正式儲存礦工，儲存礦工達到一定晉升條件成為Validator。Validator Table的更新是週期性的，每經過M個週期進行更新，M為引數，可以進行調整。Validator晉升機制：1. 儲存礦工根據自身儲存量、綜合信譽值、資源準備情況、自身意願發起Validator Login交易申請成為Validator。Login交易檢查條件如下，如出現條件不符者需要burn掉一部分質押金額，以防頻繁嘗試：a. 對Validator Login質押金額進行檢查。

b. 對儲存礦工儲存的實際需求量進行檢查，需要滿足:

2. 對以上儲存礦工列表進行遍歷檢查N個週期內未出現PoST證明失敗。
3. 對儲存礦工表按照S持有量進行排序，取值TOP（x），X為需要補增的Validator數量。
4. 更新後的Validator表統一按照演算法進行排序，SortValidator（HASH(ValidatorID+BlockHeight)）。

Validator退出機制：

1. 對Validator表進行遍歷檢查最近一次Validator為退出交易狀態Validator Logout。
2. 狀態為Login但不滿足該條件儲存容量條件。
3. 對以上Validator列表遍歷檢查N個週期內出現了M次扇區證明失敗。
4. 對以上Validator列表遍歷檢查N個週期內出現了參與共識失敗或其他惡意行為。

Lambda Consensus

· 共識輸入條件：
· Height，區塊高度
· Max Block Interval，出塊超時時間
· Max Block Size，塊最大值
· Election Seed，VRF隨機種子
· Validator Table，Validator列表
· VT Update Circle，Validator表更新週期
· Difficulty，時間引數，用於動態調整出塊週期
· Block Reward，塊獎勵函式
· Reward Curve, 激勵曲線

共識流程如下圖：

Lambda Consensus演算法是基於當前 Validator Table。

Lambda Consensus演算法基本步驟如下：

1) 根據當前塊資訊新區塊號、當前塊的ConsensusNodeHash、當前塊HASH、當前塊VRFSeed組成VRFParameter。
2) 根據VRFParameter使用VRF函式生成新一輪的VRFSeed。
3) 根據新一輪的VRFSeed與ValidatorTable生成 ConsensusNodeList = GetConsensusNodeList（ValidatorTable，Index（VRFSeed），TotalConsensusNode）。
4) 從ConsensusNodeList中對預選區塊進行驗證，並獲取權重最高的區塊進行投票，權重與Validator的Sector個數與節點Hash相關。
5) 對投票後的區塊進行BFT共識，並廣播區塊。

資料完整性

PDP

(a) 使用者為待外包的每塊資料生成一個 tag，這個 tag 是經由使用者簽名的；
(b) TPA 隨機地對使用者外包資料中的一塊或多塊發起 challenge，這個 challenge 中包含由 TPA 生成的隨機數；
(c) 儲存礦工根據被挑戰的資料塊內容、tag 資訊、challenge 資訊以及自己生成的一個隨機數計算得到一個 proof；
(d) TPA 以 challenge、proof 及使用者公鑰為引數，透過對映函式的雙線性性質檢驗儲存礦工是否持有資料。

PDP形式化定義如下圖：

LAMB-PoST

PDP方案面臨的問題如下：

· Challenge隨機挑戰資訊的生成依賴於TPA，這個隨機挑戰值是否安全。發起Challenge時為了更高的檢測率，需要一次性完成多塊資料的檢測，對每一塊都需要生成隨機挑戰引數，大大增加了發起挑戰的通訊複雜度。
· 互動式的挑戰要求必須為強同步網路，並且<challenge，prove>互動次數過多造成系統的網路負載增加。
· 儲存礦工儲存了大量的碎片訂單，如果每次挑戰針對一個訂單，挑戰數量會嚴重影響系統的負載。
· 如果一份資料以多副本方式儲存，或匹配到多個礦工時，如何解決女巫攻擊和多副本的虛假儲存。
· 在生成證明時可以證明當前時刻儲存了檔案，如何確保在兩個檢測週期之間是否儲存了檔案。
· LAMB-PDP方案在PDP演算法之上需要解決以上的問題，基本流程如下圖所示。

· 礦工將多個檔案片段封裝到一個扇區中，同時將tag資訊、公共引數、片段/檔案索引記錄到區塊鏈中。
· 礦工從最新的區塊中獲取挑戰隨機種子R，礦工計算本次需要挑戰的扇區S，礦工應確保每個
· Sector在M個週期內提交儲存證明，以獲取相應收益。
· 礦工根據GenChallenge(R , S , Index) -> challenge生成挑戰。
· 礦工根據GenProof(data, challenge, tag) -> proof 生成證明。
· 礦工使用GenNextChallenge() 生成挑戰 ,重複進行t次證明並生成ProofSet。
· 礦工將ProofSet提交到網路中，等待被Validator驗證與打包。
· 礦工需要對扇區持續提供PoST儲存證明，T個週期未收到PoST則認為扇區丟失。
· 將扇區標記為丟失狀態，並更新相應懲罰記錄、扇區內包含的訂單資料進行重新匹配或修復
· 修復工作也可由使用者完成。

激勵機制與費用模型

激勵機制

共識激勵
共識節點是透過VRF在Validator表中隨機產生的，每次新的區塊產生後都會為下一區塊共識節點選舉生成種子並寫入新區塊中。每個出塊週期中共識節點個數為固定值，如出現某個共識節點未參與共識過程則不參與分配出塊獎勵，多次出現該行為則被退出Validator列表。共識節點的出塊獎勵為：

Lambda出塊獎勵總數為40億，初始階段每個塊獎勵160 LAMB，以後每4年區塊獎勵減少1/2，最終減少到每年0.5%後不再改變。出塊獎勵還受限於Lambda生態的發展程度，全網的儲存供應量和需求量共同決定，挖礦曲線及係數表如下：

舉例1：全網供應容量5PB、全網需求容量1PB、Validator參選條件為5PB/2/512 = 4.88TB、共識節點每次選取10個,假設抽取到的樣本為【20T、10T、6T、30T、32T、36T、8T、6T、10T、6T】。礦工A實際儲存量為20TB資料，出塊獎勵為：[160/2*0.5+160/2*0.5]*(20T/164T)*0.7=6.82LAMB，在共識節點抽取樣本不變得情況下，每天約收益約1150 LAMB

舉例2：全網供應容量120PB、全網需求容量60 PB、Validator參選條件為120PB/2/1024 =117TB、共識節點每次選取10個,假設抽取到的樣本為【200T、300T、120T、140T、380T、210T、130T、170T、260T、320T】。礦工A實際儲存量為200TB資料，出塊獎勵為：[160/2*1+160/2*1]*(200/2230)*0.7=10.045LAMB，在共識節點抽取樣本不變得情況下，每天收益約847 LAMB

礦工激勵

礦工包含儲存礦工與檢索礦工，為了Lambda網路能夠吸引地理位置分散的資源、更多儲存節點以及檢索節點的加入，在礦工晉升為Validator前能夠獲得更多的回報並不斷的升級儲存與檢索資源，非Validator礦工也可以獲得系統的出塊獎勵，出塊獎勵為N個節點平均分配(Block Reward * 30%),N作為系統引數待確定，N約為活躍礦工數的5%比例。

礦工列表維護條件：

1) 儲存礦工質押了扇區，檢索礦工質押了LAMB；
2) 礦工在M個塊週期內，接收了訂單或提交了PoST證明，檢索礦工為使用者提供了檢索服務；
3) 根據礦工ID與Block HASH 進行列表排序,並取前N個礦工予以獎勵。

MinerListSortBy（HASH(node id + block hash)）

舉例3：全網供應容量5PB、非Validator礦工平均儲存容量2TB，共1250個非Validator礦工。非Validator儲存礦工儲存容量為2TB，8640*256/1250=1769.472次機會被選中。每天收益約：[160/2*1+160/2*1]*0.3=24/256=0.09375，每天收益約1769.472*0.09375=165 LAMB

費用模型

手續費用構成
轉賬交易手續費
Lambda網路中每筆轉賬交易均有手續費，手續費用的多少由網路當前執行的負荷量決定，手續費是否足額決定了交易的打包優先次序。轉賬交易手續費由價格和數量兩個因子共同確認。手續費用由轉賬發起人支付，轉賬交易的手續費用受益人為共識網路中的Validator角色。

儲存訂單手續費
儲存訂單手續費是指，礦工賣單與使用者買單撮合後的成交訂單的手續費用，手續費用為訂單金額的固定比例，該固定比例為系統引數，主網啟動時決定。儲存訂單手續費由儲存礦工的儲存收益部分中結算時進行支付。儲存手續費用受益方分為兩部分，一部分為共識網路中的Validator，大部分為交易市場的運營者。運營者為第三方角色，可公開註冊並運營。

檢索訂單手續費
檢索訂單手續費是指，礦工與資源下載使用者撮合後的成交訂單的手續費用，手續費用為訂單金額的固定比例，該固定比例為系統引數，主網啟動時決定。儲存訂單手續費由儲存礦工的檢索收益部分中結算時進行支付。儲存手續費用受益方檢索交易市場的運營者。運營者為第三方角色，可公開申請並運營。

質押費用構成

儲存空間質押
儲存空間質押金額總體無限趨向於全網Coin發行量的40%，這一過程可能需要約數年時間，隨著礦工質押空間逐漸增加，單位空間質押量將逐步下降，單位空間質押金額與礦工自身質押累計量相關，關聯曲線與計算公式如下：

未成交的儲存質押可以撤銷質押，已成交儲存質押需要在申請撤銷後，由系統重新匹配訂單併成功轉移資料後可撤銷，且最短質押時長不低於四周。

Validator質押
Validator質押前提條件為該節點作為礦工，已經滿足當前Validator的最低儲存要求，此時儲存礦工需要執行獨立的共識節點程式，並質押一定數量的LAMB，質押數量為一個固定的金額， Validator可撤回質押，質押的LAMB可在四周內退回。質押金額也可能被扣減燃燒，如出現雙籤、離線、未投票等行為。

檢索礦工質押
檢索礦工少量質押，防止惡意攻擊，為固定數量LAMB，質押金額可以在檢索礦工撤銷檢索掛單後，檢索訂單服務完成後實時撤回全額檢索質押。

使用者消費保證金
使用者需要按照實時訂單金額足額提供保證金，如儲存10GB、一年、需要足額資金。儲存礦工在提交儲存證明後網路會從使用者提交的消費金額中按比例支付。使用者需至少儲存一週後方可取消訂單，同時將未消費部分返還使用者。

儲存設施

整體架構

Lambda儲存網路首先是一個DHT網路，所有儲存礦工透過節點自動發現加入到網路中，路由資訊儲存在整個DHT網路中，並能夠實現點對點的資料傳輸。DHT網路是Lambda儲存的網路基礎，在此至少我們去構建豐富的儲存型別。但這裡所有的技術細節透過訪問短的Agent進行封裝，對於使用者來說與使用傳統資料儲存設施有相同的體驗。在DHT網路中交換的只是資料片段，儲存礦工並不清楚資料的內容與意義。

基於DHT分散式網路之上，Lambda逐步開發不同儲存型別，如物件儲存、檔案儲存、KV儲存、部分關係型儲存型別，這也需要Agent的同步開發以降低不同儲存型別使用的開發難度。區塊鏈上的資料都是可公開訪問的資料，這極大限制了資料的使用場景，為了擴充套件使用場景，Lambda提供了基於多授權機構屬性基加密的訪問控制方案，並提供了資料加密的能力，以及透過代理加密對屬性撤銷的能力，安全訪問控制透過鏈上進行授權。

業務流程

Lambda網路交易市場連線了礦工與使用者，礦工透過資源準備、質押、價格釋出完成進入市場的動作，使用者根據儲存需求準備資金，使用者可選擇合適的交易市場後由Agent自動完成儲存、檢索掛單並透過選擇的交易市場完成訂單匹配，之後進行許可權驗證與資料交換。具體流程如下圖：

視覺化與擴充套件

錢包

Lambda錢包主要包含首頁檢視、礦工檢視、消費者檢視、Validator檢視。在錢包內可完成餘額、轉賬、借款、出借等交易功能，在礦工檢視中可完成裝置註冊、空間質押、銷售掛單、訂單跟蹤、取消質押、礦機下架、轉讓封存空間、加入礦池等功能；在消費者檢視中可跟蹤訂單與支付資訊，獲取訪問授權等操作；在Validator檢視中可跟蹤Validator資格驗證、Validator申請、撤銷、出塊跟蹤等功能。該錢包為引導性示例，在釋出時具備上述功能。同時Lambda會開發API可由第三方開發、釋出。

瀏覽器

後續工作

· 儲存介面的詳細定義與Agent開發；
· 提供第三方運營儲存於檢索市場的能力，合約能力的開放；
· 訪問控制與授權部分的完善；
· 儲存證明根據儲存型別的調整與最佳化；
· Validator儲存驗證的效能最佳化；
· 資料檢索市場與實時資料流的支援；

Lambda價值網際網路儲存基礎設施

推荐阅读

近期文章

新手教程

1什麼是區塊鏈？區塊鏈能做什麼？

2區塊鏈是如何運作的？

3區塊鏈和比特幣的關係？

4比特幣有什麼價值？

5如何購買比特幣？