運營theGraph是資源密集型的工作,因為它需要一個同步的以太坊存檔節點。
繁重的資源需求限制了theGraph節點可以放置的地理位置深度。
粗糙的滲透會影響到客戶端的延遲,從而影響用戶體驗。
與區塊鏈不同,在一個網絡中擁有多個theGraph節點并不會顯著提高其安全保障。攻擊的代價主要是響應的索引器的質押。
因此,theGraph網絡冗余度高,節點集中度高。這增加了客戶端延遲,同時也帶來了巨大的凈貨幣成本,但不一定會提高網絡安全性。
另外,索引器只每個塊間隔更新一次索引。
我們在theGraph的前面提議了一個緩存層:策展人和索引器可以在全局范圍內創建和索引區塊鏈,但可以訂閱它們的緩存輕節點數量要多得多。
緩存節點具有較低的存儲需求,價格低廉,可以深入到地理位置,從而為客戶端提供極低的延遲,同時與索引器保持同步。
theGraph是以太坊和IPFS的開源查詢協議。基于廣泛流行的GraphQL查詢語言,它為開發人員減少了麻煩,無需設置完整節點和編寫腳本,從磁盤中的原始數據提取相關信息的。相反,theGraph做了以太坊鏈上數據的索引,用類似Truebit的協議來激勵正確的響應,給開發人員提供一個友好的查詢接口。
資料來源:theGraph
在過去的幾個月里,隨著以太坊生態系統中DeFiDApp的激增,theGraph經歷了拋物線式增長,每天處理多達2.2億個查詢,每月處理40億個查詢。可以毫不夸張地說,盡管有很多人試圖構建一個去中心化的AWS,theGraph是web3中第一個獲得顯著吸引力的云計算服務。
中心化云的危險
具有諷刺意味的是,theGraph僅關注以太坊區塊鏈和IPFS的特定請求,這也是它在Web3開發者中獲得采用的最大優勢。然而,到目前為止,它一直通過其托管服務來處理這些請求,這些服務很容易受到與單點故障相關的問題的影響。此外,theGraph的中心化式端點的響應時間也相當長,這取決于用戶到其服務器的距離。
Bitwise向美SEC提交文件要求修改規則以適應比特幣現貨ETF:金色財經報道,Bitwise Asset Management于6月16日提交了一份文件,要求修改規則以適應其計劃中的比特幣現貨ETF。美國證券交易委員會(SEC)于2022年6月拒絕了Bitwise先前的比特幣現貨ETF申請。當時,美國證券交易委員會表示,Bitwise的ETF無法實現充分的監督共享,無法提供針對市場操縱的保護,也無法證明相關市場規模龐大。
然而,美國證券交易委員會表示,未來的申請可能會符合這些標準,而Bitwise試圖在其最新提交的文件中證明這一點。此外,在新提交的文件中,BitWise表示,SEC應在45至90天內批準、拒絕或圍繞其擬議的規則變更啟動其他程序。[2023/6/17 21:44:08]
以下列主機為例,其下行負載約為86Mbps,它使用theGraph獲取區塊鏈數據。
Ookla的速度測試
頁面中的所有字段需要大約10.5秒的時間來填滿對theGraph服務器發出的10秒請求,每個請求需要大約250毫秒才能返回響應。
每個uniswapv2請求都是一個theGraphAPI請求
這是我們在本文中多次提到的一個指標:對theGraph的中心化式端點的單個請求需要大約250毫秒
反響
如今,dApp的用戶意識到他們是早期的采用者,他們熱衷于測試新技術或挖礦,這大大抵消了用戶體驗的任何問題,但隨著web3向大規模應用邁進,對于下一個10億人,這種情況將不再適用。
為了更好地了解情況,以下是一些具體數字:
49%的互聯網用戶希望網頁在2秒或更短時間內加載
53%的人會放棄一個需要加載3秒以上的網站
頁面響應延遲1秒可導致轉換率降低7%
美國11月季調后非農就業人口為26.3萬,超出市場預期:金色財經報道,美國11月季調后非農就業人口為26.3萬,超出市場預期,美股三大股指期貨短線跳水,均跌超1%。加密貨幣普遍短線走低。BTC跌至16900美元下方。[2022/12/3 21:19:12]
來源:ThinkWithGoogle
對于uniswap.info或者其他任何一個DApp,這些統計數字遠不能令人鼓舞!另一方面,如何加速運行速度很慢的網站是一個由來已久的問題。Facebook、亞馬遜、Youtube和其他幾家大網站無須考慮用戶的地理位置,就具備即時加載的功能。他們是怎么做到的呢?為了找到解決方案,我們在查詢theGraph時,首先得確定導致延遲的請求-響應周期中的關鍵路徑。
深入挖掘
一個簡單的PING到theGraph的主機似乎表明網絡延遲不是一個重要的因素,因為往返只有大約5ms。
但是,IP查找顯示api.thegraph.com網站像許多其他站點一樣,使用Cloudflare作為CDN服務。
\n
來源:UltraTools
事實上,看看對api.thegraph.com發出的OPTIONS和POST請求的響應時間之間的差異結果表明,客戶端的處理時間只有30ms,這表明剩余的220ms是由于Cloudflare的代理服務器和theGraph的源服務器之間的延遲造成的。這可能是因為theGraph只在全球一個位置運行服務器。
域名服務商BNS將支持BAB持有者免費注冊域名:9月11日消息,BNB Chain域名服務商BNS將對BAB持有者提供免費注冊域名的權利。據悉,BAB是Binance為KYC用戶發行的靈魂綁定代幣,BNS通過這一活動已經獲得接近10% BAB持有者的支持。[2022/9/11 13:22:53]
所以現在我們知道網絡延遲是減慢GraphAPI響應的原因。然而,難道CDN的工作不是減少這種網絡延遲嗎?
CDN是什么?Web2真的具備高速率嗎?
CDN服務將緩存服務器放置在全球多個位置以減少地理距離,從而減輕響應延遲和源服務器上的負載。
在沒有CDN的情況下,Web服務可采用以下方法之一:
Web服務直接服務于一個或多個源服務器的請求,在沒有分布式、復雜和昂貴的負載平衡設置的情況下,這些服務器通常只位于一個位置,從而增加了響應延遲
Web服務可以彈性伸縮,根據需求自動提供容量,但通常對需求突然激增反應緩慢
Web服務的過度資源調配會導致容量過大,從而導致平均成本更高,在突然出現峰值時可能仍然不夠
在本地跨區域的CDN服務緩存常見請求以及互聯網的冪律,規定了20%的數據占所有請求的80%,從而避免了請求在使用低端但高度分布式的計算機,為源服務器提供服務的同時,需要訪問源服務器。
來源:DigitalConnectMag
CDN實際上是加速訪問Facebook、亞馬遜和YouTube等網站的關鍵。如果地理分布是CDN提高web性能的原因,那么theGraph的去中心化網絡是否可以解決它的延遲問題,這可能會很吸引人。
去中心化云是否能作為CDN?
通常假設全局分布式去中心化網絡是會自動提高性能的。然而,這里有一個非常可疑的假設——成本和無形的運營開銷很高,會導致節點運營商們會集中在最適合他們的地方。
定價:提供云服務的運營支出可能會很可觀。每個磁盤訪問和CPU周期都需要花費一個人的真金白銀。短期內,此類費用可通過VC籌錢或通脹代幣給予補貼。然而,從長期來看,這種服務的受益者預計將付出代價。
資源需求:運行節點要支持theGraph網絡,需要運行以太坊完整節點。不用說,作為theGraph網絡上的索引器,資源密集,而且成本高昂,正如任何theGraph的測試網都會證明的那樣。Balancer、Compound、Uniswapv2子圖要求運行消耗超過5TBSSD的以太坊存檔節點,并且每月可能花費大約500美元,不包括帶寬成本。
BTC網絡上交易的總價值已超過100萬億美元:金色財經報道,ARK Invest的研究員David Puell表示,通過比特幣網絡交易的總價值已超過100萬億美元。Puell引用了Glassnode的數據來支持他的說法。根據研究人員分享的圖表,比特幣網絡上交易的價值在其存在的13年中增長得相當快。
Puell指出,100萬億美元大關是一個“有趣的統計數據”。此外,他認為該網絡的總累積活動估計為 7.3 萬億美元。[2022/8/25 12:48:17]
密集的磁盤訪問和計算操作以及成本限制了theGraph節點可以放置的位置數,從而增加了用戶的延遲。這件事情正發生在theGraph的測試網本身。
在theGraph的測試網中,在查詢時在線并正確響應ping的大約200個節點中,90%位于僅3個國家:美國、芬蘭和德國,僅德國就占了50%的節點。此外,65%的節點使用相同的VPS供應商,HetznerOnline。
按國家分布的theGraph的國家
\n
theGraph的測試網節點的ISP分布
但是,我們都知道,完美的去中心化定義模糊;低成本和良好的性能是大多數付費客戶通常追求的。那么,這些指標是如何受到上述結果的影響的呢?
theGraph網絡中的IP列表如下:https://docs.google.com/spreadsheets/d/1qLb-D9sb0c9wvrIbMUMB63xnXh1DXmsPRfXh6UsSk28/edit?usp=sharing。讓我們使用timecurl-L'<URL>'-XOPTIONS-w“{time\\utotal}”來ping每個IP并檢查RTT。
結果將根據進行查詢的主機位置而有所不同。以下是來自印度班加羅爾同一主機的結果,它導出了theGraph中心化端點的前250ms結果:
人民郵電報:我國區塊鏈產業規模增至65億元垂直行業應用持續拓展:金色財經報道,據人民郵電報6月20日第03版消息,我國區塊鏈產業加速發展,產業規模不斷攀升,產業規模由2016年的1億元增加至2021年的65億元。截至2021年底,我國共研究或制定區塊鏈標準超150項,僅2021年一年就新增區塊鏈相關標準82項,占現有區塊鏈標準總數的53%。我國區塊鏈研究機構已達114家,其中2021年新增加3家。全國已有超過50所高校開設了區塊鏈專業或課程。[2022/6/20 4:39:44]
平均值:677.5912ms
中位數:546.472ms
標準偏差:498.6831ms
當然,以上不全是。與先前返回查詢結果的250ms響應不同,占用的時間超過兩倍的查詢,只是一個OPTIONS請求,該請求不期望任何數據響應,因此不包括任何磁盤獲取或處理時間。根據服務器的緩存配置和磁盤/CPU參數,此響應時間預計僅會增加有意義的請求。
很明顯,去中心化遠非靈丹妙藥。情況可能會好轉,但還遠不能保證一個由theGraph索引器組成的去中心化網絡會自動降低網絡的運行成本或提高用戶的性能。
用于API的CDN
那為什么盡管uniswap.info使用了Cloudflare,一個流行的、高度分布式的CDN提供商,但要加載這么長時間?細節之處最容易出問題。仔細觀察響應頭可以發現,Cloudflare從不用于將查詢請求緩存到theGraph。相反,Cloudflare被要求始終將此類請求代理到源服務器。這是具有動態內容的網站所采用的常見策略,其中Cloudflare僅用于防止DDoS。
它很容易緩存靜態資產,如圖像和視頻。不出所料,互聯網流量的很大一部分實際上是媒體。因此,CDN在提高web和移動性能方面非常有效。
但是,傳統的CDN無法緩存像通過API交付的內容那樣頻繁和不可預知的變化。它們基于與每個資產相關聯的生存時間來工作,在該時間之后,資產被清除并從源系統重新獲取。如果TTL太小,則會經常查詢原點,這正是我們開始解決的問題。如果TTL太大,將返回過時和不準確的結果。
在電子商務中,就像區塊鏈DApp一樣,和用戶利益相關的信息是高度動態的。正如庫存和定價在搶購期間頻繁變化一樣,每個區塊高度的區塊鏈數據也是如此。將這些動態內容留在源服務器上會減慢傳輸速度并增加基礎設施成本,服務運營商將由托管提供商和僅代理API調用的CDN加倍收費。
用于API的CDN需要更高級和定制的工程。事實上,很少有傳統的CDN公司為API提供緩存服務,那些做這業務的公司會收取高額費用。
MarlinCache
MarlinCache基于一個簡單的觀察,即在任何時候,一小部分dApps比其他更受歡迎。例如,訪問Sushi或Rarible的人絡繹不絕。服務于此類請求的索引在每個塊間隔只更新一次。因此,頻繁查詢的響應可以緩存在不同地理區域的本地緩存內,從而減少往返時間和源站的壓力。
緩存是事件驅動的。節點維護對熱點索引器的訂閱。緩存中的數據會隨著每個塊更新。Marlin中繼確保在生成一個區塊時,每個緩存的更新延遲限制在500毫秒左右,即使只有一個完整的節點支持theGraph網絡。如果在全球范圍內多了幾個完整的節點,那么500毫秒的更新延遲可以減少到250毫秒。
注意這里提到的250ms延遲和uniswap.info之前指出的250毫秒延遲有所不同。一旦每個緩存根據最新的區塊進行了更新,客戶端的請求只需5-10毫秒就可以獲取數據。這里的延遲表示用戶端在產生新區塊時將有250毫秒的延遲。theGraph和其他以太坊完整節點可以獨立使用Marlin中繼來減少這種延遲。
在大多數緩存命中的情況下,任何通過MarlinCache的CDN到索引器的路由查詢都可以將用戶的響應時間從230毫秒到1.5秒降低到5-10毫秒。此外,為了方便集成,Web3客戶端像許多視頻播放器可以把CDN域名和到索引器的域名作為備用url寫到代碼里,這樣在緩存不命中時也不會有額外的時間損失。
你所激勵的就是你得到的保證
我們可能會問theCache是theGraph殺手還是Filecoin殺手。實際上都不是。theGraph激勵子圖的創建、子圖的可檢索性和響應的正確性。另一方面,Filecoin或Arweave激勵在網絡中存儲內容。理性的參與者在懲罰定義的約束下工作,同時試圖最大化協議提供的激勵。
theCache通過其鄰近性的證明激勵參與者在全球范圍內深入地理圖。該機制確保緩存在一定的時間限制內對請求作出響應,否則將面臨隨時間降級的風險。另一方面,響應的正確性仍然會被確保,因為它們需要證明任何子圖的子圖的響應都可以從索引器提供的相應子圖的響應中導出。
theCache的激勵措施鼓勵分布在不同地理位置的低端節點的運行,其唯一目的是更新、存儲和服務熱點API請求的響應。
總而言之,theCache與其他索引器的一些顯著區別是:
theCache節點只需要幾兆字節的存儲空間,這在大多數情況下都能容納在RAM中,而不需要像Infura、Graph或Pokt網絡這樣的完整或歸檔節點。較低的資源需求使節點分布更加深入和本地化,從而減少了客戶端的延遲。
theCache支持索引器沒有提供的智能合約事件和余額、地址、存儲監視程序。
theCache并不局限于任何特定的索引器或查詢協議,可以使用更廣泛的數據源和后端。
theCache提供從索引器提供的相應響應派生的響應加密證明。因此,相比于使用fisherman協議來檢測損毀的響應,客戶端可以立即拒絕不正確的響應。因此,緩存更偏向正確性,而非Graph的fisherman協議提供的可用性。在這兩種情況下,客戶端可以選擇查詢多個節點以獲得更高的可靠性。
特征
MarlinCache在邊緣通過預定義的自定義邏輯實現更快的響應時間。此功能直接或間接地使許多很酷的功能能夠豐富web3.0體驗:
緩存:dApp可以減少源站的負載和查詢區塊鏈的相關成本,同時也可以為用戶提高響應能力
一致性:在全球低延遲連接的情況下,dApp和API提供商可以不必擔心為不同渠道和用戶提供不一致的響應
設備優化:NFT市場、游戲和一般基于IPFS的dApp可以實時地為用戶優化內容,例如,通過向移動設備提供消耗較少帶寬的低分辨率圖像
個性化:根據地理和歷史定制內容可以提高Web3市場的參與度和轉化率
DDoS防護:全球和深入定位的緩存服務器可以更有效地吸收請求,同時還可以更容易地檢測惡意攻擊
實時分析:藝術家、開發者和市場所有者可以更好地了解用戶活動和參與度
實驗性商業化模式:相比于直接向用戶收費,通過以一種保護隱私的方式收集用戶數據的商業化模型也成為了可能
入門
簡而言之,MarlinCache通過在用戶旁邊緩存數據,努力為web3dApp提供類似Web2的性能。如果您是一名開發人員,希望將區塊鏈API請求中產生的250毫秒到1.5秒的延遲減少到10毫秒以下,請直接進入我們的文檔,了解如何使用theCache,并在遇到查詢時加入我們的discordgroup。
通過我們的官方渠道確保您隨時了解最新情況:
Twitter:https://twitter.com/MarlinProtocol
TelegramAnnouncementChannel:https://t.me/MarlinProtocolAnn
TelegramChatGroup:https://t.me/MarlinProtocol
Tags:THEGraphAPHGRAPThe Collective Coinethnographyinbusiness答案ethnographyasamethodusedGraphLinq Protocol
聚咖說,發區塊鏈熱點發聲!本期《聚咖說》邀請到的訪談嘉賓是坐擁420萬波卡的早期投資人,波卡巨鯨,德鄰資本創始人李昆運.
1900/1/1 0:00:00獨家原創丨比特幣是要開始反轉了嗎?昨日驚現“V”字形態 大家好,我是你們的朋友易天(aphz8705).
1900/1/1 0:00:00加密市場之所以能夠存在,其根本在于能夠與現實生活建立關聯性,或許沒有當初10000枚BTC換兩個披薩的事,也就沒有了現在的加密市場.
1900/1/1 0:00:00彈性穩定幣項目ApplesCash自9月2日上線后,幾天內質押資產體量就超過了1000萬美元,躋身Uniswap交易對榜單前30.
1900/1/1 0:00:00AAX本期研報重點關注CEL、BTC和UNI三大熱門幣種。 CEL CEL今年表現不錯,幾乎跑贏了所有的山寨幣.
1900/1/1 0:00:00比特幣繼10月8號的拉升400點之后,于昨日再次起飛,最高觸及11100一線附近,目前盤整在11080附近;今天是10月10號,如果比特幣將再次起飛,沖擊11400幣價.
1900/1/1 0:00:00