KlaytnStateTrieCacheSeries#1:?確認產生Cache問題的原因
Klaytn為了提高區塊鏈平臺的性能,做了許多方面的努力。我們將通過下列文章介紹statetriecache性能改善過程。
??確認Cache問題的原因
??尋找最佳的Cache
??計算Statetriecachemiss
??進行?CacheSizeTuning
本篇將介紹進行Klaytn有關測試時出現的問題以及這些問題的來源-Go語言GC(GarbageCollector)。在進行Klaytn有關測試時,出現了下列問題。
<imgalt=""class="tuvhyaj-ozvx"?src="https://miro.medium.com/max/964/0*KSFKadBeRExUlkA6"width="482"height="321"srcSet="https://miro.medium.com/max/552/0*KSFKadBeRExUlkA6276w,https://miro.medium.com/max/964/0*KSFKadBeRExUlkA6482w"sizes="482px"/>
數字資產交易所BTSE引入對印度盧比的支持:金色財經報道,數字資產交易所BTSE宣布在法定進/出坡道服務套件中引入對印度盧比(INR)的支持。BTSE的創新即時加密貨幣購買平臺ExpressBuy現在使用戶能夠以INR即時購買BTC、ETH、USDT和USDC等主要數字資產。用戶還可以利用ExpressBuy使用主要信用卡即時購買數字資產。
BTSE除了新推出的印度盧比(INR)之外,還支持13種主要法定貨幣,包括美元、歐元、英鎊、日元和港幣。[2023/8/2 16:14:33]
利用Prometheus提供的API測試內存使用量
在Klaytnbinary中,以3500TPS處理transaction時,大約需要用到100G的內存。我們為了確認具體是哪里在消耗大量內存,利用Go語言所提供的內存分析工具,進行了確認。
??gotoolpprofcn-mem0.prof
File:kcn
BuildID:7b45b11c163a99518095ffb64083e4aa61fd321f
Type:inuse_space
Time:Mar26,2020at8:56am(KST)
Enteringinteractivemode(type"help"forcommands,"o"foroptions)
(pprof)top
Showingnodesaccountingfor41.91GB,96.33%of43.50GBtotal
比特幣市值超越Meta:金色財經報道,由于Meta股價下跌,據8marketcap數據顯示,當前比特幣市值已經超越Meta,本文撰寫時比特幣市值約為3201.8億美元,過去24小時上漲0.52%;而Meta Platforms(Facebook)市值約為3196.7億美元,過去24小時上漲4.01%。[2022/12/30 22:16:07]
Dropped382nodes(cum<=0.22GB)
Showingtop10nodesoutof77
?flatflat%sum%cumcum%
?30GB68.97%68.97%30GB68.97%github.com/allegro/bigcache/queue.NewBytesQueue
?5.65GB12.98%81.95%5.65GB12.99%github.com/allegro/bigcache.(*cacheShard).set
?1.53GB3.52%85.47%1.53GB3.52%reflect.New
?1.25GB2.87%88.35%2.60GB5.97%github.com/klaytn/klaytn/ser/rlp.decodeBigInt
通過內存分析工具,我們可以看到每個部分所消耗的內存。在上述結果中,可以通過?Showingnodesaccountingfor41.91GB,96.33%of43.50GBtotal看到kcnbinary占了43.5GB,還可以看到其中的96.33%,即41.91GB具體用在哪里。不僅如此,通過30GB68.97%github.com/allegro/bigcache/queue.NewBytesQueue,可以看到有30GB(68.97%)用于bigcache上。
Celsius將其比特幣清算價格降至12243美元:7月3日消息,The Altcoin Hub發推稱,Celsius將其比特幣清算價格降至12243美元。[2022/7/3 1:47:31]
??
這兩個測試結果中,我們發現了問題。根據Prometheus所提供的內存使用library,kcn大約占了100GB,但內存分析結果(43.50GBtotal)表明,kcnbinary只占了?43.5GB。我們無法確認其余56.5GB(=100GB-43.5GB)的內存去了哪里。?
于是我們猜測應該是Bigcache占據了大部分內存。為了確認Bigcache是否占據了內存,我們在相同環境的2臺服務器上設置了不同的cachesize進行測試,設置分別為30GB和0GB。2臺服務器的top和內存分析結果如下。
(Top命令結果是GiB,Prometheus所提供的library的結果是GB,兩者為相同的量)
Cypresssynctest
AWSInstance:m5.8xlarge
memorysize:128G
cachesize:30G,0G
<imgalt=""class="tuvhyaj-ozvx"src="https://miro.medium.com/max/1484/1*BUBXxboSlBArnNSfLo4KDw.png"width="742"height="366"srcSet="https://miro.medium.com/max/552/1*BUBXxboSlBArnNSfLo4KDw.png276w,https://miro.medium.com/max/1000/1*BUBXxboSlBArnNSfLo4KDw.png500w"sizes="500px"/>
MicroStrategy投資比特幣賬面損失已超8億美元:6月13日消息,根據此前Michael Saylor披露的數據,截至4月4日,MicroStrategy以約39.7億美元收購了129218枚比特幣,每枚比特幣的平均價格約為30700美元。按比特幣當前價格計算,其賬面損失已超過8億美元。
此外,MicroStrategy公司股價于盤前下跌16.9%,現報169美元。[2022/6/13 4:22:40]
<imgalt=""class="tuvhyaj-ozvx"src="https://miro.medium.com/max/1484/1*KydRE8pnP0G5-3s5h9KVSw.png"width="742"height="366"srcSet="https://miro.medium.com/max/552/1*KydRE8pnP0G5-3s5h9KVSw.png276w,https://miro.medium.com/max/1000/1*KydRE8pnP0G5-3s5h9KVSw.png500w"sizes="500px"/>
top命令結果(左:cache30G;右:cache0GB)
波卡DeFi中心Acala先行網Karura與Calamari實現XCM跨鏈通訊:金色財經報道,Web3隱私保護協議 Manta Network 先行網 Calamari Network 宣布與波卡 DeFi 中心 Acala 先行網 Karura 成功完成跨鏈資產轉賬, HRMP 通道的開通以及跨共識通訊的部署將使兩條平行鏈間實現互操作性以及資產隱私化,XCM 整合將允許兩條平行鏈資產的跨鏈轉移,此舉對 Calamari 和 Karura 后續的進一步整合以及波卡生態的發展都有重要意義。[2022/6/3 4:00:26]
<imgalt=""class="tuvhyaj-ozvx"src="https://miro.medium.com/max/2156/1*pKdGJgwuIBTPgAjBH_JLNQ.png"width="1078"height="564"srcSet="https://miro.medium.com/max/552/1*pKdGJgwuIBTPgAjBH_JLNQ.png276w,https://miro.medium.com/max/1000/1*pKdGJgwuIBTPgAjBH_JLNQ.png500w"sizes="500px"/>
<imgalt=""class="tuvhyaj-ozvx"src="https://miro.medium.com/max/2156/1*0VudYV4vE8HnwT0bXF6CiQ.png"width="1078"height="564"srcSet="https://miro.medium.com/max/552/1*0VudYV4vE8HnwT0bXF6CiQ.png276w,https://miro.medium.com/max/1000/1*0VudYV4vE8HnwT0bXF6CiQ.png500w"sizes="500px"/>
GoMemoryProfiling結果(左:cache30G;右:cache0GB)
我們可以看到,被分配Bigcache的服務器其Top和內存分析結果中內存使用量分別為70GB和35GB,有35GB的內存追蹤不到。而沒有分配Bigcache的服務器其Top和內存分析結果中內存使用量分別為5GB和2GB,有3GB的內存追蹤不到。?
通過以上測試,我們可以推斷,若使用Bigcache,會占用大于分配額的內存。而就算不使用Bigcache,也會出現3GB左右的遺漏。當然,GC(GarbageCollector)的運作,可能令不管使用什么樣的Go程序都有機會出現內存分析結果和實際使用量的誤差。
而且,我們通過這篇文章可以得知,長時間占據大量的heap內存,并在分配時使用pointer的話,會消耗非常大的內存。
<imgalt=""class="tuvhyaj-ozvx"src="https://miro.medium.com/max/3200/0*E7gDbvMeS8E_YPgO"width="1600"height="572"srcSet="https://miro.medium.com/max/552/0*E7gDbvMeS8E_YPgO276w,https://miro.medium.com/max/1104/0*E7gDbvMeS8E_YPgO552w,https://miro.medium.com/max/1280/0*E7gDbvMeS8E_YPgO640w,https://miro.medium.com/max/1400/0*E7gDbvMeS8E_YPgO700w"sizes="700px"/>
GC(GarbageCollector)可尋找程序動態分配的內存中不再運作的部分,收回該部分的內存并分配給其他區域。為此,Go語言的GC(GarbageCollector)會對沒有運作的區域進行確認,看是否被分配了內存。這時,用于確認的標志就是pointer,如果某個區域有很多pointer或占據了大量內存,GC在搜查過程中會消耗較大內存。
話句話說,在運行GC(GarbageCollector)之前,內存使用量為44GB,一旦開始運行,內存使用量就會增加100GB。再加上進行內存分析的時間剛好在GC完成運轉后,所以只看到了運轉前的內存使用量,即44GB。由于Klaytn分配的Bigcache量很大,所以GC一直在消耗更多的內存。
這類情況會導致系統突然出現內存不足的情況。因為Klaytn需要長時間運轉,必須避免由于占用過多內存導致系統突然崩潰的情況。在下一篇文章內,我們將會介紹解決該內存遺漏問題的過程。
關于Klaytn
項目名稱:Klaytn
英文縮寫:KLAY
官方網站:https://www.klaytn.com/??
項目簡介:Klaytn是以服務為中心的企業級分布式信任區塊鏈平臺,通過高效的“混合”設計,結合了公有鏈和私有鏈的最優功能。Klaytn與全球眾多知名品牌的參與合作,通過共同的不懈努力,創建可靠的去中心化業務平臺。Klaytn治理委員會是一個由跨國企業和組織組成的聯盟,負責運營共識節點網絡,推動生態系統發展。Kakao的區塊鏈開發部門「GroundX」已正式推出Klaytn,并可用于商業用途。
來源:金色財經
1月19日,由ISC總冠名,熱鏈文化傳媒、金色財經、幣世界主辦,華夏產業經濟研究院、ChainUP聯合主辦,ETV協辦.
1900/1/1 0:00:00現貨黃金、國內黃金白銀T+D行情分析 日線級別:MACD死叉,KDJ死叉,鐘億金洈是yj6779但三線匯合可能形成金叉.
1900/1/1 0:00:002021年1月19日周二農歷臘月初七摘要:比特幣趨勢怎么看?比特幣還要繼續漲嗎?比特幣會先跌一下嗎?比特幣還能漲多久?比特幣為何要在深夜跳水2000點?比特幣后市如何?是漲是跌?為何我一做多行情.
1900/1/1 0:00:00BTC行情分析: 昨日主流幣沖鋒,ETH帶頭突破,大多數主流幣摸到了關鍵壓力位,例如LTC是165,BCH是550。大餅近期的整理并沒有完成,也一直在等待選擇方向.
1900/1/1 0:00:00昨日前言之中強調量能方面機構買入被沖平,往后問題會接連暴露,隱藏在盛世之下的陰影正在爆發,所以,連日以來前言都在強調風險,不需要在過多說明,繼續原定老計劃就好了.
1900/1/1 0:00:00--前言 多空交易本無對錯,只是在合適的時候做相應的策略,很多人發現設了止損總是會被掉,只是因為沒有把握好正確的位置,勇氣是控制恐懼心理,而不是心里毫無恐懼,什么都可以失去,不可以失去希望.
1900/1/1 0:00:00