加密貨幣交易所 加密貨幣交易所
Ctrl+D 加密貨幣交易所
ads
首頁 > 比特幣 > Info

鏈上鏈下協同的數據歸檔真的太難了!和解?_DAN:ITX

Author:

Time:1900/1/1 0:00:00

前言

區塊鏈的全復制、擴展性等問題,使得業務向鏈上遷移會考慮采用兩層設計,有基于區塊鏈的合約層和鏈下拓展層,鏈下層承擔擴展鏈上能力。在兩層系統中,業務的存證或者協調數據在鏈上,鏈下拓展層會保存完整數據內容,并參與業務計算。

隨著業務的持續,鏈下節點的數據會逐漸累積,越來越大,數據的增長速度甚至會超過存儲介質容量增長的速度,而不得不為節點提供更大的高性能磁盤,當數據增長突破容量限定后會影響系統性能與業務持續性;鏈上合約層,當狀態數據數據累積到一定數據量級會導致系統吞吐量下降、鏈上數據查詢變慢,服務質量下降。

另一方面,雙層系統無法和一般的數據存儲系統(MySQL存儲系統)一樣進行“select-insert-delete”式的歸檔。合約數據涉及多個業務參與方,鏈上數據和鏈下的錨定、關聯關系不能被破壞等約束。

BNB鏈上最大借貸協議Venus的CAKE貸款年利率飆升至167.37%:2月9日,BNB鏈上最大借貸協議Venus的CAKE貸款年利率昨日從42.05%飆升至167.37%,貸款發放總量從991萬美元飆升至1724萬美元。

此前報道,Aptos生態NFT市場Blue Move宣布將于UTC時間2月9日12:00至14:00在PancakeSwap平臺IF0,募集金額為40萬美元(以CAKE計價);1000萬枚MOVE Token將被發售,占MOVE總供應量的3.33%;發售價格為每枚MOVE 0.04美元。參與者需持有Aptos鏈上CAKE Token。[2023/2/9 11:57:24]

為解決這些問題,我們對兩層系統的數據歸檔進行了一定的實踐,當合約層以及拓展層數據停止改變或不被頻繁使用時,對其進行遷移,減少合約狀態數據、讓出拓展層節點主存儲空間,提升系統的性能和服務質量。

Cardano鏈上DeFi項目Ardana宣布停止:金色財經報道,Cardano鏈上的DeFi項目Ardana (DANA) 宣布停止開發,該項目在昨天發給 Ardana 社區的一條推文中將“資金和項目時間表的不確定性”作為停止運營的原因。

Ardana在去年獲得由現已解散的加密對沖基金、三箭資本、Cardano的cFund和Ascensive Assets牽頭的一輪融資籌集了 1000 萬美元后,才進入開發階段不到一年。該項目致力于穩定幣鑄造和外匯服務,并立志成為“Cardano 的 MakerDAO 和 Curve Finance”。[2022/11/25 8:06:43]

什么是數據歸檔?

-----數據歸檔過程和目標

為了詳述數據歸檔來龍去脈,我們需要了解幾個簡單的概念,首先,需要了解備份和歸檔的區別:

數據:BCH挖礦獎勵金額連續增長,24小時鏈上交易額約為249.3億美元:據Tokenview數據顯示:BCH近24小時內鏈上交易額為18370500.6 BCH,同比24小時前上升18.67%,近24小時內鏈上交易數為154997筆,同比24小時前下降0.72%;近三日BCH當日挖礦獎勵金額呈上升趨勢。截至5月5日,BCH當日挖礦獎勵為1491個BCH,約為180.62萬美元,較三日前相比增長了1.61倍,日均增長率達17.21%。[2021/5/6 21:28:54]

備份:存儲在非易失性存儲介質上的數據集合,在原始數據丟失、損壞或不可用時,可以從備份系統訪問或從備份數據中恢復,也稱為副本。備份同時保護了所有生產系統的活躍的和非活躍的數據。我們通常說的備份,類似“復制“操作。歸檔:將不再活躍但必須保留的數據移動到另一個存儲系統,以便釋放節點主存儲,提高系統性能。歸檔的數據是生產數據的子集,一般,將歸檔數據轉存到專用系統,歸檔類似”剪切“操作。在兩層系統語境下,歸檔意味著將合約的狀態數據以及數據錨定的鏈下系統數據作為一個整體進行歸檔。

動態 | IRISnet第3號鏈上參數治理提案未通過,21天解委托時長不變:據官方消息, IRISnet 的第 3 號鏈上參數治理提案未通過,將 21 天解委托時長縮短為 14 天的提案未滿足 50% 的參與度,該提案未通過,21 天解委托時長不變。[2019/10/1]

對數據歸檔,我們要達到如下目標:

1)獨立的數據歸檔支持合約,用于索引鏈上的數據,包括3方面內容:數據指紋、更新時間、關聯方;

2)一個歸檔模塊以及獨立歸檔服務:使用統一的架構,將數據遷移到一致的位置;

3)歸檔后的數據需要進行統一管理和一致的訪問;減少運維歸檔數據所需的成本,同時需要保護歸檔數據的安全性;

4)歸檔后的數據具有索引和搜索功能,能更有效、快捷地對歸檔的數據訪問并利用;

行情 | 昨日ETH鏈上新用戶活躍比例降低13%:據Searchain.io數據,昨日ETH鏈上新用戶活躍比例為40.29%,較前日降低13.30%,與上月同期相比上漲了30.58%。[2018/10/22]

5)相關歸檔的恢復:可以將某次歸檔恢復到生產環境。

一般的數據歸檔的過程:select-insert-delete,創建一個新的數據庫-歸檔庫,然后在歸檔庫創建與生產庫相同的表;不斷查詢生產庫數據記錄,同步復制到歸檔庫;生產庫刪除已經復制的數據記錄。雖然數據歸檔過程非常簡單,但是設計數據歸檔的方案,我們必須想清楚以下幾個問題?

歸檔前:那些數據可以歸檔?數據適合歸檔嗎?歸檔庫如何選型?歸檔執行階段:數據歸檔過程需要不斷的讀寫生產庫,這個過程將會大量使用的網絡、IO,那為了防止對線上業務造成壓力,數據歸檔一般只在業務低峰期執行。歸檔后:數據冪等被破壞,數據歸檔導致生成數據缺失,會對業務造成影響。針對歸檔的過程和目標。綜上,我們將提出設計和實現契合自身架構特點的歸檔方案。

歸檔方案實踐

趣鏈科技自研的區塊鏈隱私計算平臺BitXMesh,將區塊鏈與隱私計算技術深度融合,支持鏈上鏈下協同的數據共享和隱私計算。

BitXMesh是一個兩層架構系統。包括區塊鏈合約層,鏈上部署有數據共享合約、聯邦計算協調合約等,鏈下拓展層由BitXMesh節點組成并提供數據共享、聯邦計算等能力。從數據的維度看,整個系統由合約數據及合約數據錨定、節點內的數據以及支撐節點能力、逐漸累積的業務功能數據組成。歸檔數據的時候需要考慮:鏈上數據和節點本地數據,數據之間的錨定關系,以及本地數據的關聯關系。同時,數據類型也是需要考慮的,節點內有文件、K/V類型的數據,這些數據歸檔需要存放在不同的歸檔庫中。

BitXMesh數據歸檔組件包含:內部的歸檔模塊(Archivermodule)、鏈上數據歸檔支持合約、存儲對接組件、歸檔庫(存儲歸檔數據)。其中,鏈上數據歸檔支持合約是為了兩層系統協同歸檔而構建的合約,合約主要功能是進行鏈上數據的索引以及按時間進行引用計算,便于定位鏈上數據。整個歸檔模塊組件及其構成,如下圖。

針對K/V類型的數據,選擇BadgerDB作為歸檔庫,存放BitXMesh歸檔的K/V數據;對文件數據,使用IPFS作為歸檔存儲,同時文件的元信息存儲在BadgerDB歸檔庫;整個歸檔數據項的標識ID都會記錄在歸檔摘要文件中,歸檔摘要文件記錄了整個歸檔的元信息,該文件也可以提供給基于BitXMesh開發的業務系統使用,將業務系統的數據也進行歸檔。整個歸檔過程如下:

1)首先,歸檔庫初始化。指定歸檔庫存儲路徑,會在該目錄下創建K/VBadgerDB庫以及存儲大文件的ipfs,這兩個庫的創建尤其關鍵,歸檔的數據存儲于兩個庫中,后續可開發應用對歸檔的數據進行管理。2)其次,執行歸檔。目前,按“時間區間”進行歸檔,分為兩個階段:鏈上數據及與鏈上錨定的節點數據的歸檔、鏈下節點數據歸檔。

鏈上數據及與鏈上錨定的節點數據的歸檔:該步驟需要歸檔支持合約的支持,歸檔支持合約主要存儲鏈上數據的標識信息以及數據存儲時間。當歸檔時,先查詢該合約得到需要歸檔的數據列表,根據這個數據列表,去歸檔節點與其錨定的數據。整個過程包括查詢-寫入-刪除,查詢鏈上數據和鏈下數據,將查詢得到的數據信息寫入到歸檔庫,一旦寫入成功,將摘要寫入到歸檔摘要文件,最后刪除數據。鏈下節點數據歸檔:該步驟歸檔節點的業務數據,落到時間區間的數據即可執行查詢-寫入-刪除操作。一旦碰到文件數據,需要查詢元信息,寫入K/V歸檔庫,再取文件block寫入到ipfs歸檔系統。3)最后,資源回收和落盤操作。上面兩步已經將符合時間范圍的數據進行歸檔,之后需要將歸檔模塊訪問節點數據的連接斷開,歸檔庫也需要關閉數據訪問連接。歸檔摘要文件落到磁盤。

在進行了一次歸檔操作后,歸檔庫中的數據可以通過歸檔服務進行訪問,類似業務系統的做法,將歸檔庫作為backend數據存儲,通過HTTP接口訪問這些歸檔的數據。

總結

數據歸檔是針對大量數據累積的系統,對數據進行有計劃的遷移,當數據停止改變或不被頻繁使用時,通過數據歸檔把它們轉存到別的地方,讓出存儲空間,提升系統的性能。本文以BitXMesh數據歸檔模塊為例,對鏈上-鏈下兩層架構系統的數據歸檔進行實踐,將歸檔融入到系統功能,完成了歸檔使用統一的架構,將數據遷移到一致的位置,歸檔后的數據需要進行,統一管理和一致的訪問目標。

Tags:DANMESHITXBITcardano幣最新消息SmartMeshSITXbitkeep怎么提現人民幣

比特幣
中央紀委國家監委官網發文《元宇宙如何改寫人類社會生活》_區塊鏈:區塊鏈技術的應用

12月23日,中央紀委國家監委網站于今日發文《元宇宙如何改寫人類社會生活》,文章解釋了“什么是元宇宙”以及“元宇宙為什么能出圈”等問題.

1900/1/1 0:00:00
RSS3發布去中心化網絡與標準協議白皮書,同時將發行紀念版限量白皮書NFT_ASK:MASK

DeFi之道訊,1月11日,Web3.0領域的索引分發協議RSS3發布其去中心化網絡與標準協議白皮書.

1900/1/1 0:00:00
海南省工業和信息化廳副廳長閆肅:加快培育鏈上海南區塊鏈產業生態_區塊鏈:STCC

巴比特現場報道,在今日舉辦的2021CCF中國區塊鏈技術大會上,海南省工業和信息化廳副廳長閆肅在致辭時表示,區塊鏈已經成為海南數字經濟的重要組成部分,區塊鏈創新創業的氛圍不斷的增強.

1900/1/1 0:00:00
知情人士:對沖基金公司Brevan Howard已于本月推出其首個加密貨幣基金_HOW:World Of Rewards

據Blockworks1月18日消息,兩位知情人士透露,資管規模達180億美元的對沖基金公司BrevanHoward已經推出了其首個加密貨幣基金HDigitalMulti-StrategyFun.

1900/1/1 0:00:00
V神回顧過去十年的預測和觀點,有些已經實現,有些還在路上_HTT:TPS

1月1日,以太坊創始人VitalikButerin在推特上發布推特風暴,回顧了自己過去10年寫的一些文章以及在這些文章中的預測和觀點,并與今天進行對比。回過頭再看,V神曾經的預測有對有錯.

1900/1/1 0:00:00
美國90后富翁都在投什么?有一個新趨勢值得關注!_數字貨幣:代幣和數字貨幣的區別

來源:前哨科技特訓營 作者:創新地圖 最近CNBC又發布了一年一度的百萬富翁調查,和以往只是體現有錢人擔心什么不同,今年有個全新的趨勢值得你好好關注.

1900/1/1 0:00:00
ads