Medalla 測試網網絡動蕩始末_PRY:LIME幣

編者注：2020年8月15日，Medalla測試網出現了驗證者參與率的大幅下降，起因是Prysm客戶端默認使用Cloudflare公司的roughtime服務來較準節點的本地時間，但當時的roughtime服務出了錯，導致所有Prysm節點的本地時間都快了4個小時，如此一來，Prysm節點就與使用其它客戶端的節點隔絕開來了。

事發之后，Prysm客戶端團隊迅速推出了緊急修復并密切跟蹤事態。但Medalla測試網仍因為各種原因而繼續動蕩，無法敲定epoch。事實上，事發之后，截至發文之時，Medalla測試網僅在北京時間2020年8月20日凌晨曾敲定區塊，隨后驗證者參與度又降到了66%以下，未能敲定區塊。

事實雖然令人不安，但它恰好提供了一個我們審視Eth2網絡、審視節點行為的機會——絕不應放過這樣的審視和反思的機會，否則我們仍有可能重蹈覆轍。

我們選擇了多份材料，嘗試多角度、多層次地復現完整的事實、囊括盡可能多不應被忽略的因素。誠然，我們缺乏能觀察到去中心化網絡全局情形的上帝之眼，認知的深度必定有其邊界，但我們仍然希望，對陷入混沌的網絡的恢復過程和參與者在此過程中的激勵因素，能有一個完整的描述。到目前為止，這個目標還未實現。

第一份材料，來自Prysm客戶端工程師prestonvanloon.eth在推特上對事件的報告。

Medalla測試網全局性故障初探

phil.eth：

ETH2.0測試網Medalla目前無法敲定區塊，因為Prysm客戶端的roughtime時鐘同步出了問題。目前已經有了修復方案。請Prysm用戶更新并重啟你們的客戶端。這一突發情況再次表明了客戶端多樣性以及測試網的重要性。

prestonvanloon.eth：

今天早些時候，Prysm出現了全局性故障，持續時間將近90分鐘。本次事件的始末如下：

世界協調時17:30左右，@terencechain發現其客戶端的時鐘提前了4小時。很快，出現時鐘偏移報警，discord頻道也被大量用戶報告淹沒。

Alameda清算人在DeFi借貸平臺Aave上損失72,000美元:金色財經報道，Alameda 清算人在試圖為債權人追回資金時被清算后，在 DeFi 借貸平臺 Aave 上損失了 72,000 美元。清算人試圖平倉，并在此過程中首先移除了用于該頭寸的額外抵押品，使其面臨清算風險。加密數據平臺Arkham在與 The Block 分享的一份報告中指出，在九天的時間里，該頭寸被清算兩次，總計 4.05 aWBTC，這是 Aave 上使用的一種由比特幣支持的代幣。

該數據基于已被 The Block 研究副總裁 Larry Cermak 標記為與 Alameda 相關的錢包，并用于在以太坊區塊瀏覽器 Etherscan 上標記錢包。來自這些錢包的資金被轉移到一個由多重簽名控制的錢包中，該錢包現在持有 1960 萬美元的以太幣和價值 1.4 億美元的以太坊上的各種代幣。[2023/1/13 11:09:21]

Prysm客戶端確實出了問題。

Medalla測試網上的驗證者參與度驟降，其下降速度甚至超越了$YAM的歸零速度，從75%降至5%以下。PrysmaticLabs團隊立即展開了緊急行動。

我們決定將軟件改成默認禁用roughtime時鐘同步，取而代之的是可選擇的功能切換。這樣可以防止此類問題再次大規模爆發。從現在開始，roughtime的結果將僅供客戶端軟件參考，不再用于自動時鐘校準。

下圖是Prysm節點出現超過2秒的時鐘偏移的時間段，從北京時間凌晨1:30至3:00持續了大約90分鐘。

-圖片來源：@prestonvanloon.eth-

現在，我們正看著這個數據思考一個問題“roughtime服務器怎么會偏差這么大？”數據顯示，所有Prysm服務器報告的偏移量都在0.1秒不到。最后為什么會提前4小時？？

-圖片來源：@prestonvanloon.eth-

我們還在調查這個問題！肯定是roughtime的增量計算出了bug，我們希望能盡快找到它。無論調查結果如何，我們認為應該將自動時間校準作為可選項，甚至徹底取消掉。

Alameda曾向FTX高管和關聯公司發放41億美元貸款，SBF獲得10億美元:11月18日消息，根據提交給特拉華州聯邦破產法院的文件，Alameda Research向FTX高管和關聯公司發放了41億美元貸款，其中FTX前首席執行官SBF獲得了10億美元，FTX工程總監Nishad Singh獲得了5.43億美元，FTX Digital Markets負責人Ryan Salame獲得了5500萬美元。而FTX的法律子公司Euclid Way Ltd.和Paper Bird Inc.也獲得了23億美元貸款。

據此前消息，FTX新任首席執行官John J. Ray III對SBF的管理不善行為進行了嚴厲的譴責。Ray表示，在其職業生涯中，從未見過如此失敗的公司控制，以及如此缺乏可信度的財務信息。（CoinDesk）[2022/11/18 13:20:18]

歡迎閱讀完整的事后調查報告，了解最新的調查進展。

在主網上線之前，測試網就是用來發現這類問題的。面對這種情況，多幾個客戶端選擇對用戶更為有利。

原文鏈接:

https://twitter.com/preston_vanloon/status/1294392007599652865

作者:?prestonvanloon.eth

翻譯&校對:?閔敏?&?阿劍

編者注：第二份材料來自Prysm客戶端團隊的分析報告，有詳盡的時間線記錄。從中我們可以知曉Prysm客戶端發布緊急修復的整個過程，以及緊急修復帶來的連帶影響。截至本譯稿發表之時，該分析報告表示已經找到了故障的具體原因。值得一提的是，報告原文所用的都是UTC時間，我們一律轉換成了北京時間。

“roughtime”事件分析報告

作者：Terence、Raul、Preston

狀態：等待決議。根本原因已找到，問題已緩解。

OccamX DEX將于2月在Milkomeda主網上推出:2月8日消息，Cardano生態DeFi解決方案OccamFi宣布，OccamX DEX計劃于2月份在Milkomeda主網上推出。據悉，OccamX是專門構建的Cardano DEX，將允許用戶賺取、兌換Cardano Native Tokens（CNTs）并為其提供流動性。[2022/2/8 9:38:30]

網絡：Medalla

總結：Cloudflare的roughtime服務器全都返回錯誤信息，而Prysm節點并沒有采取適當的應急措施。這個bug導致所有Prysm節點出現時鐘偏移。在時鐘偏移的影響下，驗證者為超前的slot提議區塊并生成見證消息。

影響：由于roughtime響應錯誤以及出現時鐘偏移，驗證者計算slot錯誤，提議的區塊和生成的見證消息均無效。這個問題影響到了全局參與度。在北京時間凌晨1:30至2:45之間，所有Prysm節點都受到了影響。

根本原因：來自Cloudflare服務器的roughtime響應出錯。具體來說，是因為“ticktock”報告了一個24小時之后的時間。這個時間戳，再經過所有6個服務器的數據取平均值，是的所有Prysm節點都產生了4小時的時間調整。

解決方案：在我們評估roughtime響應錯誤所引發的潛在問題時，先將roughtime時鐘同步設為可選項。

發現：Terence最先發現了這個問題。他注意到一個本地信標鏈節點一直在拒絕超前的區塊和見證消息。幾分鐘之后，由于roughtime時鐘偏移量較高，產生了報警。同時，#general和#bug-report頻道的用戶開始報告本地節點拒絕超前區塊和見證信息的問題。

經驗教訓

哪里出了問題

我們誤以為，對于roughtime服務器故障的問題，我們有適當的應急方案。

網絡中的每個Prysm節點同時受到影響，導致驗證者參與率大幅降低。

Raydium平臺上首個IDO項目Media Network公布募資細則:Raydium官方宣布，其去中心化公募平臺AcceleRaytor的第一個項目Media Network將于4月29日北京時間21時啟動，持續12小時。

Media Network在AcceleRaytor的啟動分為兩部分：1）固定價格的去中心化公募；2）Raydium AMM上的IDO。公募總額1百萬美元，為代幣總量的1%，其中50萬配額給RAY持有者，另50萬為開放池，代幣上線價格為10美元。

公募采取按投入比例的陽光普照模式，所有參與者在限額之內都可根據投入比例獲得代幣份額。MEDIA代幣于30日21時左右上線Raydium去中心化交易所，項目另將撥出代幣總量的0.5%提供流動性，同時啟動Fusion Pool給予流動性挖礦獎勵。[2021/4/21 20:45:14]

PrysmaticLabs團隊原以為，NTP服務器本身較為分散，而且每個服務器都開放6個端口，不會出現全局故障的問題。

萬幸的是

一位貢獻者已經向我們提交了一個PullRequest，把roughtime時間校準設為可以選擇退出的功能。

我們已經可以用命令行功能標簽立即選擇取消roughtime時鐘校準，這讓修復措施變得簡單，而且只需一次PullRequtest就能驗證。

用戶在Discord上積極參與討論。當節點出現問題時，有大量用戶提供了詳細報告和重要指標。

我們有一個持續不斷的重同步機制，當它發現時鐘偏移量超過2秒時，它會不斷更新節點本地的時間。我們一直在重新校準roughtime時鐘，以便更快解決這一問題。這可能讓這次事件提前了大約30分鐘至1小時結束。

roughtime時鐘同步問題似乎在大約90分鐘后就解決了，而且在我們能夠緊急發布新版本前，這個事件就已經結束了。

時間線

2020/08/15

MIT Media Lab：大多數ICO不在投資者保護法律范圍內:今日日本金融廳第四次加密貨幣交易所研討會召開并公布會議資料。公布的資料顯示，MIT Media Lab就加密金融話題指出，ICO融資促進投資和消費，表現在開發者可以通過收益來構建網絡、發起者可以被分配獲得預挖的Token、Token可以互相轉換和交易、Token發行后優先服務于網絡運行、開源開發大部分是中心化的、促進貨幣政策的制定。此外，在ICO投資者保護方面要注意幾方面，分別為對“投資”和“效用性”Token的錯誤區分、大多數ICO不在投資者保護法律范圍內、ICO騙局頻發、投資者保護框架與消費者利益保護法有偏差、經濟增長和發行方的利益來自于投資者信心。[2018/6/15]

1:25AM：Terence發現他的本地節點由于一直拒絕超前區塊，收到了大量報警。這些區塊的slot都超前了4個多小時。

1:28AM：Prometheus監控報警系統收到了roughtime偏移量高的報警。那時，距離網絡最后一次敲定區塊過去了10epoch。

1:35AM：至少有30名用戶在Discord頻道表示他們開始收到下方報警：WARNroughtime:Roughtimereportsyourclockisoffbymorethan2secondsoffset=4h0m0.028854657s

1:43AM：Terence在#war-room頻道群發了告警消息，稱這是一個PS0級別的事件，需要大家共渡難關。

1:45AM：Discord頻道的用戶提出，重啟信標鏈節點和驗證者客戶端無法暫時解決這個問題。最可行的方案是將roughtime時鐘同步設為可選禁用的功能。

1:51AM：問題上升到了多客戶端聊天室

1:52AM：Ivan完成了https://github.com/prysmaticlabs/prysm/pull/6898

2:00AM：Terence與512位驗證者一起在本地測試了6898號PullRequest。

2:20AM：據已捕獲的調試日志顯示，“ticktock”服務器有段時間一直在報告24小時之后的時間。

2:27AM：Raul聯絡了Preston。Preston將在1小時內回來構建新版本。同時，我們將發布docker鏡像。

2:40AM：Preston指出只靠緊急修復還不夠，我們需要取消將roughtime時鐘同步作為默認項。

2:42AM：Raul開始調查Kibana，并使用fluentd中的filter分析來自roughtime的調試日志響應。

2:43AM：Terence交叉檢查了信標鏈命名空間中所有pod的kubectl日志。正如預期的那樣，pod確實存在roughtime時鐘偏移問題。

2:46AM：Raul向6898號PR提交了正確的修復程序。

3:05AM：Raul確認該修復程序可以讓節點在本地工作。如果存在時鐘偏移，修復程序會產生告警日志，但是不會試圖基于roughtime服務器更新時間。

3:08AM：Terence在我們的discord頻道向所有人宣布：“Prysm節點出現roughtime響應錯誤，應急措施沒有達到預期效果。我們已經找到了故障所在，很快就會進行緊急修復，并在1小時內上線新版本。在即將發布的新版本中，roughtime時鐘同步將不再是默認項。”

3:18AM：Buildkite單元測試、規范測試、docker鏡像構建成功。e2e測試尚未完成。Preston準備啟動上線流程。

3:22AM：新版本生成：https://github.com/prysmaticlabs/prysm/commit/d24f99d66db22691b69c76bc57c7509e7f3ba8fe。Terence確認這個方法可以修復其驗證者節點。Preston開始使用新的docker鏡像依次重啟我們的有狀態集合中的pod。集群驗證者會基于新的鏡像進行更新。

3:34AM：Docker鏡像被標記成alpha21版本，穩定性好，二進制文件已經構建完成

3:34AM：對有狀態集合中pod的健康狀態進行監控，確保滾動更新成功

3:36AM：使用新的docker鏡像對我們的驗證者pod進行滾動啟動。

4:29AM：在日志上查看返回的延時值。平均來看，這些值似乎都在0.1秒以下。延遲不是調查的關鍵指標。準確來說，“中點”才是需要研究的地方。注：下表時間是太平洋標準時間。https://kibana.prylabs.network/goto/e5f5f64a4426c85aee1d76abc2d994be

-圖片來源：@prestonvanloon.eth-

5:32AM：查看高于2秒的偏移量。從該數據中可以看出，在長達90分鐘的全局故障期間，Prylabs出塊節點的偏移量大約是14000秒。注：下表時間是太平洋標準時間。https://kibana.prylabs.network/goto/6ce2d73c13c0eef600b604fee6d8f4f4

-圖片來源：@prestonvanloon.eth-

4:41AM：通過Prometheus報警系統關于平均偏移量的數據，我們可以明顯看出在北京時間凌晨1:30至2:45之間確實存在時鐘偏移問題，之后偏移量開始下降并恢復正常。

4:52AM：即時調查結束。這次時鐘偏移故障顯然已經結束，而且修復程序已經發布。已經更新的節點將立即恢復，還沒有更新的節點需要過段時間恢復。監控系統顯示，驗證者參與度在逐步回升。

6:20AM：用戶報告說罰沒保護機制已經啟動。這是因為之前的時鐘偏移導致驗證者超前4小時提議區塊并生成見證消息。為了避免遭到罰沒，Prysm驗證者沒有繼續提議無效區塊。

8:13AM：再次故障

8:13AM：Nishant注意到6898號PR中存在嚴重缺陷。只有在roughtime功能標記開啟的情況下，用戶才能設置它的功能。

8:16AM：Preston更新了“最新的”二進制文件，使其指向alpha20版本來實現臨時回滾，并建議用戶回滾至alpha20版本。我們現在正在等待合并7004號PR作為alpha22版本的候選。

8:45AM：值班團隊正在評估是否擴大熱狀態緩存的大小，以便alpha22版本能夠更快讓網絡重新開始敲定區塊。當前默認的熱狀態緩存大小為8個epoch，但是Medalla測試網距離上一次敲定區塊已經過去了將近100個epoch。

9:12AM：值班團隊決定將默認緩沖大小更新至64epoch，并使其可以通過功能標記來配置。經過初步測試，這有可能會使內存使用量增加1.5G。等網絡重新開始敲定區塊后，緩沖大小還可以調整。

9:57AM：所有PrysmaticLabs驗證者節點都生成了會被罰沒的見證消息。緊急修復程序刪除了Prylabs驗證者節點的本地存儲。沒有任何外部的罰沒保護機制在運行。具體情形尚待確認……在1024名驗證者中，至少有800名驗證者已經或即將遭到罰沒。

10:37AM：多名用戶報告稱無法同步區塊鏈。目前的問題是，網絡中有太多節點在同一時間進行同步。Alpha22版本被推遲，需要等待進一步通知。

10:46AM：Prylabs團隊認為現在最好的辦法就是等待。用戶應該運行alpha20版本或最新的docker鏡像。

2020/08/16

2:12AM：正在對同步難的問題進行調查。

11:36AM：Nishant和Victor發布初始同步修復程序。參見PullRequest7012。

2020/8/17

1:51AM：合并拉取7012號PR。一些用戶報告說同步成功。PrysmaticLabs開始將7012部署到出塊節點上。

5:15AM：從commit0be1957c2897909b943b80fdd028f5346ae6cde6開始開發Alpha.22版本

5:33AM：Alpha22版本發布。鏈接：https://github.com/prysmaticlabs/prysm/releases/tag/v1.0.0-alpha.22

5:40AM：通過Discord頻道宣布Alpha22版本上線。Prysmatic的值班團隊繼續監控同步情況，以便進行優化。與此同時，越來越多用戶同步至最新區塊。

12:53AM：Alpha23版本上線，已在Discord頻道宣布該消息。Alpha23版本包含一些同步修復程序，有望解決Medalla測試網的問題。建議用戶在運行時開啟“--dev”標記，以便獲得更好的體驗。

原文鏈接:

https://docs.google.com/document/d/11RmitNRui10LcLCyoXY6B1INCZZKq30gEU6BEg3EWfk/edit#

作者:?PrysmaticLabs

翻譯&校對:?閔敏?&?阿劍

Tags：PRYGHTTIMEIMEPRYZRightMeshtime幣上交易所了嗎LIME幣

MATIC