分片技術——提升區塊鏈TPS的利刃-ODAILY_區塊鏈:區塊鏈dapp開發框架

編者按：本文來自哈希未來，作者：陳致佳蒙繹澤江澤武，星球日報經授權轉發。

報告摘要：

分片是源自數據庫的擴容技術，可用于提高區塊鏈系統的可擴展性，基本思想是將網絡中的節點分成不同的碎片，各分片可以并行處理不同交易，這樣可以并行處理相互之間未建立連接的交易，以提高網絡并發量。它的特點是隨著節點數目的增加，網絡吞吐量也隨之增加。核心難點在于數據分片的關鍵特征值確定，以及元數據在片區之間通信的延遲造成的不一致性問題，頻繁的跨碎片之間的通信會使得區塊鏈網絡性能大大降低。由于每個片區里的數據是分開更新的，在設計應用邏輯時必須確保信息的成功更新，同時也需要預留出一定的魯棒性來應對一個達成最終一致性過程中可能出現的不一致性。

在區塊鏈中的分片根據對象分為交易分片、網絡分片和狀態分片，其中值得注意的是，在區塊鏈中采用網絡分片技術，也就是將礦工分成幾個子網絡分別負責驗證該碎片上的交易，需要保證惡意節點的數目足夠小，也因此在分配礦工的規則上需要注意保證隨機性。在區塊鏈中應用分片技術，還需要考慮的問題是對各種攻擊如女巫攻擊，DDOS攻擊、雙花攻擊的防御，需要在權衡效率的同時，保證每個分片內的總節點數目足夠多，并且誠實的節點占大多數，分片技術對安全性要求極高，同時，區塊鏈系統中的節點數目比傳統數據庫中的可能要多，并且面臨帶寬的限制，需要充分考慮到延遲帶來的不一致性導致的性能和安全性問題，因此鮮少有落地的相關項目。需要在大規模的網絡中進行長時間的測試驗證，并結合嚴謹的理論方案證明，才能令人信服。

Alex Chien：在解決網絡可擴展性方面，波卡平行鏈很像以太坊2.0的分片技術:金色財經報道，在8月28日舉辦的《金色百家談 | Polkadot如何構建資產互聯網？》的直播節目中，達爾文網絡（Darwinia Network）聯合創始人Alex Chien表示，波卡平行鏈是特定于應用程序的數據結構，它在上下上是一致的，并且可以由 Polkadot 中繼鏈的驗證人進行驗證。通常平行鏈會是一條區塊鏈, 但并沒有特別要求它們必須是一條鏈，之所以叫他們平行鏈是因為它們于中繼鏈并行運行。由于它們的并行性質，它們能夠并行地處理交易并實現 Polkadot 系統的可伸縮性。它們與 Polkadot 網絡共享安全，并且可以通過 XCMP 與其它平行鏈進行通信。

在解決網絡可擴展性的方面，平行鏈確實很像以太坊2.0將要實現的分片技術，例如共識算法和Staking相關的設計。

每個平行鏈有自己的業務規則和治理主權，波卡使用共享安全和共享運行時(Shared Protected Runtime Execution Enclaves)，鏈上治理的方式來組織和保護這些分片，各個平行鏈還可以自主的選擇申請加入和退出波卡網絡，從這一點上看有點像歐盟。

而以太坊2.0的每個分片都更加一致和統一，并且使用同一種業務規則和語言，整個系統統一治理，相較于波卡的歐盟模式，則更像美國。[2020/8/28]

傳統概念里的分片技術，是將數據庫分割成多個碎片并放置在不同的服務器上。在現代的云服務中，數據常常被托管在不同站點并進行分區。這一做法的原因包括使多臺計算機之間的負載平衡，進而提高可擴展性；通過多站點存儲數據，來提高可用性等。而區塊鏈分片技術則是基于數據庫分片概念的一種擴容技術。

掌柜調查署 | Marco：未來必然有越來越多的項目會基于分片技術打造或改造:在今日舉行的《掌柜調查署 | Near分片技術如何引領web3.0時代》直播中，針對“分片技術在行業內的落地情況如何？”的問題，Buildlinks合伙人、Near中國線上黑客松冠軍Marco表示，不管是老項目的擴容改造，還是新項目的能力建設，分片方案都是目前最佳的選擇。所以，未來必然有越來越多的項目會基于分片技術打造或改造。當前大部分分片方案，都是基于信標鏈模式，比如，以太坊上的信標鏈，波卡上的中繼鏈，Cosmos的Cosmos Hub。而這個模式的由來，也是為了解決分片本身所面臨的幾大挑戰之一：安全性挑戰。因為每分片上驗證人數目隨著分片而減少，如何保證分片的安全性是分片系統面臨的最基礎挑戰。信標鏈作為分片的基準鏈，提供統一的隨機性，讓分片上的驗證人隨機產生，使得從概率上攻擊單個分片的難度與攻擊全鏈一致。除了安全性挑戰外，分片協議還普遍面臨：跨分片通信；數據一致性問題；數據有效性和可用性等挑戰。特別的，信標鏈模式的分片系統還面臨一個分片規模受限的問題。因為信標鏈要處理所有分片的驗證人分配，以及對分片快照這些工作，其本身是一個能力受限的瓶頸。除此以外，信標鏈系統設計復雜，僅分叉選擇邏輯一項，就需要處理信標鏈分叉和分片鏈分叉兩種情況及其相互之間的關聯關系。NEAR為什么這么受追捧，跟它的分片協議關系很大了。NEAR在分片技術上獨樹一幟，采用了無信標鏈的構建方式。[2020/8/14]

無論在區塊鏈領域或數據庫領域，分片時要進行的第一步工作都是提取數據的關鍵特征值，并將關鍵特征值按照一定的規則來劃分給不同的碎片來處理。關鍵特征值的選擇非常重要，它關系著數據的表示唯一性保障以及分片的效果。關于特征值的選取方法，一個言簡意賅的標準：basedonwhatyouthinktheprimaryaccesspatternwillbe。因此我們在區塊鏈項目中經常可以看到分片的依據是用戶的私鑰/賬戶地址等等，因為這些值是唯一性且不隨時間改變的，分片時邏輯比較清晰。

Hubble Chain 分片技術進入測試階段:據官方消息，Hubble Chain 技術團隊自主研發的分片技術（Sharding）現已進入第一輪的測試，該技術將大大提高網絡數據吞吐量。有了 Sharding 分片技術的助力，哈勃公鏈在安全性、擴展性、性能效率、資源消耗四方面的性能，都將取得突破性的技術進展。[2020/5/3]

在傳統的數據庫技術中，數據的分片主要有三種方式：

1.哈希方式，直接取模：例如有3個碎片，就將數據經過哈希運算后用3求模，根據結果分配至特定的碎片，此種策略的目的是減少碎片負載不均衡的發生，因為哈希函數計算出來的結果毫無規律，也就打破了因為一些關鍵特征值和負載的量相關的情況，因此數據更有可能均勻分散于各個碎片之間。一個反例則是，如果數據的關鍵特征值是注冊時間順序的話，剛注冊的數據更為活躍，則有可能會把它們都分到某一個碎片里。但是這一方法的缺點在于如果有新的碎片加入，重新平衡分片比較困難；其優點則在于不需要額外維護狀態信息。

2.一致性哈希：無虛擬節點的一致性哈希方式是指數據按照特征值映射到首尾相連的哈希環上，同時也將節點按照一定規則映射上去，數據順時針找到的第一個節點為其所存儲的節點。有虛擬節點的一致性哈希和此類似，不過是將虛擬節點映射到哈希環上，也因此一個實際的物理節點可以占據哈希環上的多個范圍。此種方法需要維護狀態信息，也就是數據具體被分到哪個節點了，但是優點在于如果碎片的數目需要增加，則重新平衡分片更為容易。但是分片狀態信息的維護需要考慮一致性問題，較為復雜。

V神：以太坊最早將于今年部署分片技術:3月7日，V神在ETHLondonUK會議上探討了以太坊在2020年的發展前景。他表示，以太坊最早將于今年部署分片（sharding）技術，這將會使以太坊網絡的規模擴大“100倍甚至數百倍”。此外，以太坊的生態系統將在明年“增加隱私性”。而對于最近鬧得沸沸揚揚的的“閃電貸（flash loan）”問題，V神認為，需要對去中心化的oracle做更多的研究。他進一步表示，應該針對“不同類型的oracle設計”加以研究，以使它們“更安全、更去中心化”。（Decrypt）[2020/3/8]

3.Rangebased：按照關鍵特征值劃分成不同區間，每個節點對應一個或多個區間，類似一致性哈希的方式，也需要維護狀態信息。

在區塊鏈系統中，需要有機制來知道哪個節點實現了哪個分片，在傳統數據庫系統中分片信息一般需要專門的服務器存儲，有時為了減輕元數據服務器的壓力，分布式系統中，會在其他節點緩存元數據。在區塊鏈中的思路也大體一致，需要保證在節點之間緩存的元數據的一致性，或者引入一個類似的主服務器來保證性能，但都帶來了一致性的挑戰。

Penta發布全新PSG分片技術:Penta（梵塔網絡/PNT）發布了全新的PSG（Penta Sharding Graph）分片技術，它可以通過對不同地址或DAPP的交易采用動態分組的方式實現區塊鏈的并行處理，并自動協調交易的并行和串行處理，同時采用自動壓力平衡技術，有效提升交易的并行處理能力。另外，PSG分片采用的DSC共識算法機制，確保了包括智能合約等交易的一致性，以及共識生成區塊時與主鏈一致的公平性。在整體系統的安全性、跨分片交易事務的一致性方面也有顯著提高。分片技術被認為是可擴展性問題最可能的解決方案，近日Vitalik Buterin多次談到以太坊分片技術，包括QuarkChain等項目也都有用到該技術，PSG分片技術的出世或許將對交易環節的可擴展性帶來重要意義。[2018/5/16]

多個副本的一致性、可用性是CAP理論討論的范疇，主要有兩種可用的方案。

第一種是主從同步，首先選出主服務器，只有主服務器提供對外服務，主服務器將元數據的更新信息以日志的方式存至某個共享的存儲空間，然后從服務器從共享存儲空間讀取日志并應用，達到與主服務器一致的狀態，如果主服務器被檢測到故障，那么會重新選出新的主服務器。在網絡分割的情況下，有可能出現大家認為原來的主服務器已經宕機了，就選舉出新的主服務器，但是實時上原來的主服務器還在繼續提供服務，這就導致出現了“雙主”現象，為了解決這種問題，需要想辦法把舊的主服務器隔離，使其不能正常對外提供服務。為了保證元數據的強一致性，在進行準備切換的時候，新的主服務器必須要在確認元數據完全同步之后才能繼續對外提供服務。為了達到這個目的，一種方式是當元數據變化時立即通知所有的緩存服務器，并鎖定數據，例如如果系統要完成的任務需要多個碎片里同時對狀態進行更新，那么在更新完成之前，訪問將被拒絕。另一種在高度可擴展的NoSQL數據庫中經常實現的復制數據之間保持高度一致性的方法是使用讀寫仲裁和版本控制。這種方法避免了鎖定數據，代價是讀取和寫入數據的過程中會帶來額外的復雜度。

第二種方式，通過分布式一致性協議來達到多個副本件的一致，比如Paxos和Raft協議，協議可以實現所有備份均可以提供對外服務，并且保證強一致性。

區塊鏈的狀態分片是指每個節點只存儲了一部分的區塊鏈狀態信息，亦需要類似的機制來維護狀態信息，以知道哪個片存儲了需要的狀態。需要解決的一致性問題和以上所述類似，而交易分片的實現更為簡單。在基于賬戶的區塊鏈系統中，每一筆交易將會有一個發送者的地址，然后系統可以根據發送者的地址分配一個碎片。這確保了兩筆雙花交易將在相同的碎片中得到驗證，因此系統可以很容易地檢測到雙花交易，而不需要進行任何跨碎片的通信。如果節點是確定的，那么幾乎不存在上述討論的元數據的更新帶來的問題。但是如果交易驗證時涉及到跨碎片之間的通信，通常開銷成本很高，將影響網絡的吞吐量和經濟效益。

區塊鏈的網絡分片指將礦工劃分成幾個組，同時驗證交易，提高系統并行處理交易的能力，進而可提高TPS。通常可以通過定期以隨機數生成來決定選取達成共識的節點，只要將其映射到已經編好號的碎片中問題也就變的好處理多了。但是如果有節點宕機，重新分配節點時，就需要在碎片之間形成一致性共識。值得注意的是，在區塊鏈中采用網絡分片技術，也就是將礦工分成幾個子網絡分別負責驗證該碎片上的交易，需要保證惡意節點的數目足夠小，也因此在分配礦工的規則上需要注意保證隨機性。

分片技術的關鍵在于由于每個片區里的數據是分開更新的，在設計應用邏輯時必須確保在平衡效率的前提下，對信息進行成功更新，同時也需要預留出一定的魯棒性來應對一個達成最終一致性過程中可能出現的不一致性。在區塊鏈中應用分片技術，還需要考慮的問題是對各種攻擊如女巫攻擊，DDOS攻擊、雙花攻擊的防御，需要在權衡效率的同時，保證每個分片內的總節點數目足夠多，并且誠實的節點占大多數，分片技術對安全性要求極高，同時，區塊鏈系統中的節點數目比傳統數據庫中的可能要多，并且面臨帶寬的限制，需要充分考慮到延遲帶來的不一致性導致的性能和安全性問題，因此鮮少有落地的相關項目。需要在大規模的網絡中進行長時間的測試驗證，并結合嚴謹的理論方案證明，才能令人信服。

參考文獻：

1.《帶著問題學習分布式系統之數據分片》，https://www.cnblogs.com/xybaby/p/7076731.html

2.《分片技術——區塊鏈擴容問題的良方》，http://www.8btc.com/sharding-blockchain-scalability

3.《sharding》，https://docs.mongodb.com/manual/sharding/

4.《Shardingpattern》，https://docs.microsoft.com/en-us/azure/architecture/patterns/sharding

5.《DatabaseshardingexplainedinplainEnglish》，https://www.citusdata.com/blog/2018/01/10/sharding-in-plain-english/

6.盧曉明，《被看做公鏈未來的分片技術，究竟離我們還有多遠？》，https://www.odaily.com/post/5132394

7.幣學院，《分片概述、Zilliqa和QuarkChain》，http://8btc.com/article-4660-1.html

Tags：區塊鏈INGDINSHA區塊鏈dapp開發框架SINGLE價格Indinodeshaun幣最新消息

幣安交易所app下載