彩虹橋上的棱鏡塔：Web3 與中間件 — Kafka_AFK:AFKDAO

來源：ConfluentKaiWahner?編譯：Masterdai

一：背景和展望

早在2016年InfoQ的國際會議上，KaiWahner?發表了一場演講名為《區塊鏈——中間件的下一件大事》。他在當時提出了一種新穎的基于區塊鏈數據和中間件的參考架構，這一套架構現如今被大量的技術集成商和供應商所采用。

然而，他并沒有加入任何一家加密初創公司。而是在2017年加入了Confluent，因為他認為“通過事務和分析型工作負載來處理任何規模的動態數據是更加重要的范式轉變。”對于加入Confluent?這個決策Kai認為他是正確的，正如同Kai在博客中寫道，“現如今大部分的企業都利用Kafka作為MQ、ETL和ESB工具的替代中間件，或者使用無服務Kafka實現云原生iPaaS。”

故事并沒有在這里戛然而止，區塊鏈、加密技術和NFT的出現和規模化采用激增了對中間件等開源基礎軟件的需求。出于充分的理由，有許多的加密市場網站、區塊鏈監控基礎設施和托管銀行建立在Kafka之上。這些客戶成功的關鍵就在于將區塊鏈、加密貨幣與企業服務軟件、數據庫和數據湖進行了集成。

如果我們把Chainlink這類預言機比作一道連接鏈上網絡和鏈下世界的彩虹橋，而像Kafka、Flink?這樣的中間件就是用來折射虹光的棱鏡塔。

二：什么是中間件

中間件是位于操作系統和在其上運行的應用程序之間的軟件，其支持分布式應用程序之間的通信和數據管理。它有時候也被稱為管道，因為將兩個應用程序連接在一起，因此數據和數據庫可以輕松地在“管道”之間傳遞。常見的中間件包括數據庫中間件、應用服務器中間件、面向消息中間件等等。換句話說，它實現了一組\一個應用程序與另一個\一組應用之間的對話和通信，就像是一個跨國派對中的中間介紹人加翻譯。而Kafka就是消息中間件的一種。

Aurora CEO：彩虹橋已采取預防措施暫停使用，沒有資金損失:2月11日消息，Aurora CEO Alex Shevchenko發推稱，彩虹橋已采取預防措施而暫停使用，沒有資金損失，團隊正在努力恢復彩虹橋。[2023/2/11 12:00:31]

ApacheKafka

Kafka?是一個開源分布式事件流處理平臺，最初由2011年在LinkedIn創建并且開源。

Kafka?通過三個關鍵功能使得用戶可以搭建一個實現端到端解決方案的事件流

發布和訂閱事件流，包括從其他系統持續導入或導出數據。

持久并且可靠的存儲事件流。

處理瞬時發生或者回顧發生的事件流。

事件流：以流式事件的形式將數據從各個數據源進行抓取；為后續的檢索進行持久的存儲；以實時和可追溯的方式操縱處理和響應事件流；并且根據需要將事件傳遞到不同目標的技術。事件流確保了數據的連續流動和表達，從而使正確的信息在正確的時間出現在正確的位置。

ApacheKafka?的用例

消息傳遞：Kafka可替代傳統的消息代理。消息代理常被適用于數據存儲和處理的解耦，緩沖未處理響應的消息等等。

網站活動跟蹤：將跟蹤用戶活動的管道重建為一組實時的發布—訂閱源。將用戶在站點的活動發布到中心主題，每一個活動類型都有一個主題。這些訂閱源可以用于訂閱一系列用例，包括實時處理、監控以及加載到Haadop或者離線數倉系統進行處理和報告。

日志聚合：使用Kafka作為日志聚合方案的替代品。日志聚合通常從服務器收集日志文件，并將它們放在一個中心位置進行處理。Kafka抽象出文件的細節，并將日志或事件數據抽取為更清晰的數據流，這使其在多個數據源和分布式數據庫情況下擁有更低延遲的數據處理。

NEAR生態EVM擴容網絡Aurora現已重新上線彩虹橋:9月27日消息，NEAR生態EVM擴容網絡Aurora今日宣布現已重新上線彩虹橋（Rainbow Bridge）。

此前消息，9月11日，Aurora在以太坊合并之前暫停彩虹橋。[2022/9/27 22:33:38]

三：kafka和web3的關系

下圖是一個非常經典的Dapp技術實現原理，但他卻給了很多人一個錯覺。似乎只需要一個前端來向以太坊網絡請求數據，就能夠實現鏈上和鏈下行為的交互了。在實際的開發過程中，往往會更加復雜，并且會在區塊鏈后端和前端之間增加一層結構。

在這樣的一層結構中我們可以實現：

Kafka?以側鏈或者鏈下的方式來進行大規模實時數據計算；區塊鏈技術與企業其他軟件部分的集成，包括CRM、大數據分析、和任何其他自定義的業務應用程序。即Kafka作為區塊鏈集成的中間件。

在加密企業架構中更加普遍的用例是利用Kafka作為區塊鏈與企業應用程序之間的可擴展實時數據中心。下面是一些例子，并且探討一些Kafka可以提供幫助的技術用例

3.1.Kafka作為元宇宙的數據中樞

零售商家和用戶之間的交流必定是實時的，無論你是想要賣實體的衣服、手機、或者在NFT交易市集之中和虛擬人商家進行討價還價。而以下架構通過編排各種加密和非加密應用程序之間的信息流來實時支持任何規模的虛擬世界架構。

3.2.Kafka在加密交易、市場中作為數據中樞的角色

用戶在移動錢包執行比特幣交易。實時應用程序監控鏈下數據、關聯數據、在儀表盤中顯示并發送推送通知。另外一個完全獨立的部門在批處理的過程中回放來自Kafka日志的歷史事件，以使用專用分析工具進行合規性檢查。

彩虹貓NFT以300 ETH出售，價值超過58萬美元:數字收藏品發行和交易平臺Foundation發推稱，由藝術家Chris Torres創作的彩虹貓（Nyan Cat）數字動畫藝術品在NFT拍賣中以300 ETH（約合585954美元）出售。[2021/2/21 17:36:21]

Kafka?生態系統中提供了許多功能，可以將來自區塊鏈和加密世界的數據與來自傳統IT的數據一起使用。

四：Kafka可以提供的技術用例

監控區塊鏈基礎設施、加密貨幣和Dapp的健康狀況，以避免停機，保護基礎設施并使得區塊鏈數據可訪問。——基礎設施維護

通過KafkaStream或ksqlDB進行流處理可以在Defi、NFT等相關交易市場進行實時數據處理。——鏈上數據分析

Kafka作為預言機的集成通道：例如從Chainlink傳遞到Kafka再到IT基礎設施。

通過Kafka?主干上的節流和隨機數管理來處理背壓，并將事務流式傳輸到鏈上。——Gamefi和Socialfi?

同時處理多個鏈：并行監控和關連以太坊、solana、Bsc區塊鏈上的交易。——跨鏈相關

我們可以看到，未來隨著新一代gamefi、defi、socialfi、移動端Dapp的增長，過去僅僅是將鏈上數據攝取到數據庫和數據湖的方法已經不能滿足現有新應用的需求了。在架構設計中充分地利用消息中間件的特性，可以滿足大部分用戶對于實時性、可靠性的需求。

五：加密和Defi世界中Kafka的真實案例

TokenAnalyst:?加密市場的可視化

動態 | EOS賬號“彩虹”攻擊披露48小時，已累計歸還數千個EOS Token:7月11日上午，在發布EOS賬戶存在”彩虹“攻擊風險的高危預警后，區塊鏈安全公司PeckShield緊急啟動部署了一系列應急處理方案。其中啟用的EOSRescuer公共查詢服務已累計提供數萬次查詢，監測到的受影響的高危賬戶資產也已做妥善管理。截至目前，PeckShield已累計通過安全賬號向用戶退還3,163個EOS Token。

考慮到此種攻擊方式已公開，為進一步保障EOS賬戶的資產安全，PeckShield構建起基于全網數據的EOS賬戶風險云監測服務，同時將擴大”彩虹攻擊“的監測范圍，覆蓋更多存在此類安全隱患的高危賬戶。[2018/7/13]

EthVM：區塊鏈瀏覽器和分析引擎

Kaleido：用于區塊鏈和智能合約的RESTAPI?網關

Chainlink：用于將智能合約從區塊鏈連接到現實世界的Oracle?網絡

5.1.TokenAnalyst?–?加密市場的可視化

TokenAnalyst?是一個鏈上數據分析工具，用于可視化和提供企業級API服務。該項目于2020年5月宣布停止運營，其團隊大部分成員加入Coinbase。不過他的案例仍然值得借鑒——其利用Kafka堆棧將來自比特幣和以太坊的區塊鏈數據與其分析工具集成在一起。

“訪問鏈上數據需要節點，而這并不如人們想象中斷那么容易。此外，另一個挑戰是使他們與網絡保持同步。為了實現零停機，并且確保最高標準的數據質量和可靠性，我們決定使用Kafka?和Confluent?平臺。”

動態 | PeckShield發布EOS高危賬號預警 存在“彩虹”攻擊被盜風險:近日區塊鏈安全公司PeckShield在分析EOS賬戶安全性時發現，部分EOS用戶正在使用的秘鑰存在嚴重的安全隱患。問題的根源在于部分秘鑰生成工具允許用戶采用強度較弱的助記詞組合，而通過這種方式生成的秘鑰很容易存在“彩虹”攻擊，進而導致賬戶數字資產被盜。針對此安全威脅，為了幫助用戶減少可能的經濟損失，PeckShield安全人員定制了一套危機解決方案：

1、披露因助記詞使用問題導致的資產被盜漏洞細節，并呼吁EOS社區用戶加強安全防范，避免使用空助記詞或較弱的助記詞組合；

2、啟用EOSRescuer（peckshield.com/eosrescuer）公共查詢服務，用戶可一鍵查閱自己的賬號是否存在安全風險；

3、將已經監測到的存在高安全風險的用戶資產暫時轉移到特定的安全賬戶，受影響用戶可聯系PeckShield進行認領。為確保用戶利益不受侵害，PeckShield會將上述安全賬戶的所有記錄透明公開，并接受第三方媒體的監督。注：用戶認領時需提供EOS賬戶所有權的證明，包括必要的交易記錄等。[2018/7/11]

TokenAnalyst?開發了一個名為Ethsync的內部解決方案。每個節點加上?Ethsync?都將數據推送到其對應的?Kafka?主題。如同下圖所示，其需要運行多個節點以實現冗余。推送到主題的塊更新并且客戶端接受為新的有效塊的塊。但是，由于區塊鏈的性質，可能會發生區塊鏈的分叉。因此，以前有效的塊可能會變得無效。

基于KafkaStreams的區塊確認器：為了防止在下游聚合計算中使用無效塊，TokenAnalyst開發了一個基于?Scala?中的KafkaStreams?的塊確認器組件。它通過臨時保留塊來解決重組場景，并且僅在達到一定數量的確認塊時才傳播它們。

確認器不僅解決了驗證規范鏈的問題，并且能夠通過確認丟棄和已經注冊的塊，來輸出具有有效一次性語義的確認塊。通過該組件可以使其充分利用容錯恢復機制，適用于零停機環境的滾動部署。

5.2.EthVM?–?區塊鏈瀏覽器和分析引擎

比特幣和以太坊等公共去中心化區塊鏈的美妙之處在于其透明度，防篡改日志使得區塊鏈瀏覽器能夠監控和分析所有的交易。

EthVM?是一個開源的以太坊區塊鏈數據處理和分析引擎，由?ApacheKafka?提供支持。該工具支持區塊鏈審計和決策。EthVM?驗證交易和智能合約的執行，檢查余額并監控gas?價格。該基礎設施是使用KafkaConnect、KafkaStreams?和?SchemaRegistry?構建的。還包括一個客戶端可視化塊資源管理器。

EthVM使用Kafka的契機來源于BoergeSvingen?在Confluent博客上發表的一篇名為《在紐約時報上使用ApacheKafka?發布》的文章，其描述了標志性的紐約時報如何從混雜的API、服務、生產者和消費者轉變為用Kafka驅動的基于日志的架構。

而區塊鏈本質上就是一個不斷增長的記錄列表，合并成塊并且用密碼學來鏈接——用程序員的話說就是鏈表。在Kafka的術語中，以太坊客戶端就是生產者——負責創建日志的新條目。

5.3.Kaleido?–?用于加密和智能合約的?Kafka?原生網關

Kaleido?提供企業級區塊鏈?API?來部署和管理智能合約、發送以太坊交易和查詢區塊鏈數據。它隱藏了以太坊交易提交、Web3客戶端庫、nonce管理、RLP?編碼、交易簽名和智能合約管理的區塊鏈復雜性。

Kaleido?為鏈上邏輯和數據提供?RESTAPI。它由完全托管的高吞吐量ApacheKafka?基礎架構提供支持。

在基于區塊鏈的分布式事務系統中，對事件的檢測和反應是不可避免的要求。沒有一個參與者或應用程序可以控制狀態變化，鏈上的智能合約邏輯不可能直接與鏈下系統通信——否則邏輯的確定性就會受到損害。

事件是編程模型的核心部分，使用豐富的類型系統很容易發出。

這些事件不僅可以用來觸發邏輯，還可以作為數據流從鏈中流出。

用于在web端和移動端的高效數據檢索

實時分析引擎和數據湖

無服務或傳統計算來觸發應用程序和業務流程

Kaleido?提供了兩種內置功能來處理這些事件，無需直接使用復雜的原始?JSON/RPC?接口、處理檢查點重啟/恢復或RLP?解碼和類型映射。

事件流：使用與RESTAPI?網關集成的RESTAPI?進行訂閱，并通過簡單的Webhook?將事件傳遞到任何HTTP?接口，或者通過ApacheKafka?支持的加密App2AppMessaging?層。

5.4.Chainlink?–?用于將智能合約從區塊鏈連接到現實世界的?Oracle?網絡

Chainlink?是用于將智能合約連接到現實世界的行業標準預言機網絡。“借助?Chainlink，開發人員可以構建混合智能合約，將鏈上代碼與由去中心化?Oracle?網絡提供支持的大量安全鏈下服務相結合。由數十萬人組成的全球去中心化社區管理，Chainlink?引入了更公平的合約模型。它的網絡目前為去中心化金融?(DeFi)、保險和游戲生態系統等領域的智能合約提供數十億美元的價值。Chainlink網絡的完整愿景可以在Chainlink2.0白皮書中找到。”

Chainlink并沒有在任何公開的博客文章和會議中討論其設計架構。我們只能從其招聘人員的工作棧要求中窺見其設計——Chainlink正在從傳統的基于時間序列的監控過渡到事件驅動的架構。

六：小結

在這些節點設施服務商出來之前，普通人想要獲取鏈上的數據信息是非常困難的。而現在，任何一個能夠上網的人都可以通過區塊鏈瀏覽器或者鏈上數據分析工具看見相對實時的區塊數據。

然而，能夠看見數據和大規模的使用數據是完全不同的概念。

“神祇們不會攀爬世界之樹。他們用彩虹橋穿行于幾大世界之間。只有神才能用彩虹橋。如果冰霜巨人或者別的巨人試圖通過彩虹橋爬上阿斯加德，他們的腳就會被燒傷。”

盡管我們現在有了節點托管、Web3API等服務的幫助，鏈上和鏈下之間進行高效實時溝通的成本依然很大。如同北歐神話中的彩虹橋，它依然是某些神祇們的專屬通道。原因就在于鏈上數據和鏈下業務之間存在大量的空白環節。Kafka僅僅只是消息傳遞的一個環節，在此之間還有數據的實時抓取、清洗和存儲。而過去服務于傳統IT業務的中間件、數據庫等并不一定完全適用于現有的Web3IT架構。隨著越來越多的企業和業務邁入加密領域，未來也可能會出現一種全新的基于區塊鏈網絡的開源中間件和數據分析架構。

我希望有一天，人人都能擁有開啟彩虹橋的能力。我們將自由的穿梭在世界之樹所締造的九界之間，與眾生靈交流。

Tags：AFKKAF區塊鏈EOSAFKDAOKAF幣區塊鏈是什么概念eos幣有價值嗎

DOT