原標題|方法論、工具與團隊:如何成為一名Web3數據分析師?
作者|AndrewHong
譯者|GaryMa吳說區塊鏈
本文假設你是一個剛接觸web3的數據分析師,開始組建你的web3分析團隊,或者剛剛對web3數據產生興趣。無論采用哪種方式,你都應該已經大致熟悉了APIs、數據庫、轉換和模型在web2中的工作方式。
在這本新指南中,我將盡量簡明扼要地闡述我的三個觀點:
思考:為什么開放的數據渠道會改變數據發揮效用的方式工具:web3數據棧中的工具概述,以及如何利用它們團隊:web3數據團隊的基本考慮和技能數據思考
讓我們先總結一下如何在web2中構建、查詢和訪問數據。我們有四個步驟來簡化數據渠道:
觸發API事件更新到數據庫特定產品/分析用例的數據轉換模型訓練和部署當數據是開源的時候,唯一需要的步驟是在轉換完成之后。Kaggle和hugsFace等社區使用一些公開的數據子集來幫助企業構建更好的模型。有一些特定領域的情況,比如在前面的三個步驟中開放數據的開放街道地圖,但是它們仍然有寫權限的限制。
去中心化衍生品交易協議Veax將于1月31日推出Advanced DEX公共測試網:1月28日消息,去中心化衍生品交易協議 Veax 將于 1 月 31 日推出基于 NEAR 的 Advanced DEX 公共測試網,支持流動性管理、流動性池、真實保證金和衍生品交易等功能。
數據顯示,Veax 是由 Tacans Labs 開發的單邊流動性管理 DEX,具有開創性的 TradFi 授權功能。Veax 于 2022 年 11 月完成 120 萬美元 pre-seed 輪融資,Circle Ventures 等參投。[2023/1/28 11:33:50]
我想聲明的是,我只是在這里談論數據,我并不是說web2完全沒有開源。像大多數其他的工程角色一樣,web2數據有大量的開源工具來構建他們的管道。我們仍然在web3中使用所有這些工具。總之,他們的工具是開放的,但他們的數據是封閉的。
Web3也將數據開源,這意味著不再只有數據科學家在開放環境下工作,分析工程師和數據工程師也在開放環境下工作!每個人都參與到一個更連續的工作流程中,而不是一個幾乎是黑盒的數據循環。
BNB Chain宣布與Web3游戲平臺GameFi.org達成合作,將支持GameFi應用上鏈:據官方消息,BNBChain宣布一站式Web3游戲平臺GameFi.org建立合作伙伴關系,將在DApp開發、技術研究、社區成長這三個主要領域進行合作。合作還將包含小組游戲、Web3討論和社區比賽,并幫助新的GameFi去中心化應用上鏈。[2022/12/27 22:10:10]
工作的形式已經從web2數據大壩到web3數據河流、三角洲和海洋。同樣重要的是需要注意,生態系統中的所有產品都會同時受到這個循環的影響。
讓我們看一個web3分析師如何一起工作的例子。有幾十家交易所使用不同的交易機制和費用,允許你將代幣A交換為代幣B。如果這些是典型的交易所,如納斯達克,每個交易所將報告自己的數據在10k或一些API,然后其他一些服務,比如capIQ,會把所有交換數據放在一起,然后收取費用,讓你訪問他們的API。也許有時候,他們會舉辦一次創新競賽,這樣他們就可以在未來收取額外的數據/圖表功能。
在web3交易所中,我們有這樣的數據流:
Web3構建者網絡Buildspace完成1000萬美元融資,a16z領投:11月18日消息,Web3構建者網絡Buildspace近日在其官網上宣布完成1000萬美元融資,a16z領投,Founders Inc、Weekend Fund、Y-Combinator、Vayner Fund、Protocol Labs、OrangeDAO、Solana Ventures、OpenSea Ventures、Alchemy Ventures、DreamerVC等參投。
據悉,Buildspace旨在為用戶提供探索職業生涯發展的學習平臺,現在正專注于Web3領域。目前Buildspace上開設的學習項目包括Solidity、以太坊NFT、Solana Web3 App等。[2022/11/18 13:21:25]
dex.trades是Dune上的一個表格,所有的?DEX?交換數據都被聚合在一起,所以你可以很容易地在所有交易所中搜索單個代幣的交易量。一名數據分析師通過社區開源查詢創建了一個儀表盤,所以現在我們對整個DEX行業有了一個公開的概述。即使所有的查詢看起來都是由一個人寫的,你可以猜測這是在discord上經過大量的爭論,才準確地將其拼湊在一起得。DAO?科學家查看儀表板,并開始在他們自己的查詢中分割數據,查看特定的對,比如穩定幣。他們會觀察用戶行為和商業模式,然后開始建立假設。由于科學家可以看到哪個DEX在交易量中占據了更大的份額,他們將提出一個新的模型,并提議改變治理參數,以便在鏈上進行投票和執行。之后,我們可以隨時查看公眾查詢/儀表板,看看提案如何創造出更具競爭力的產品。在未來,如果另一個DEX出現,這個過程將重復。有人將創建插入查詢來更新這個表。這將反過來反映在所有的儀表板和模型。任何其他分析師/科學家都可以以別人已經完成的工作為基礎。由于共享的生態系統,討論、協作和學習在一個更緊密的反饋循環中發生。我承認這有時會讓人難以承受,我認識的分析師基本上都在輪換數據耗盡。然而,只要我們中的一個人繼續推動數據向前,那么其他人都會受益。
莫斯科交易所起草數字金融資產和證券交易法案:9月24日消息,莫斯科交易所(MOEX)正在起草一項法案,旨在允許數字金融資產(DFA)以及基于DFA的證券交易。MOEX監事會主席Sergei Shvetsov表示,該法案目前正在接受俄羅斯中央銀行的審查。
Sergei Shvetsov在一次銀行會議上表示,該法案預計DFA和DFA憑證可以像證券一樣交易。“該交易所及其子公司將向監管機構申請,我希望他們將獲得交易所運營商的地位”,以進行DFA交易。“如果該法律通過,俄羅斯存管機構將能夠在其鏈上賬戶中持有DFA,一旦客戶需要基礎資產,他們就贖回憑證,并在鏈上賬戶中接收資產。”
據此前報道,今年8月,一位高管透露,莫斯科交易所計劃在年底前提供數字金融資產產品。9月份,俄羅斯總理Mikhail Mishustin要求中央銀行和莫斯科財政部在12月1日之前提交有關俄羅斯聯邦數字金融資產(DFA)市場未來的具體建議。財政部和貨幣當局還必須與俄羅斯金融監管機構Rosfinmonitoring、聯邦稅務局和聯邦安全局合作,在12月19日之前就旨在規范發行和流通俄羅斯數字貨幣的法律草案制定統一立場。(Cointelegraph)[2022/9/24 7:18:45]
它并不總是必須是復雜的抽象視圖,有時它只是實用功能,如使它容易搜索ENS反向解析器或工具的改進,如自動生成大多數graphQL映射與一個CLI命令!所有這些都可以被每個人重用,并且可以在某些產品前端或您自己的個人交易模型中進行API的使用。
V神拋售所有Mooney治理Token:8月5日消息,PeckShield監測顯示,以太坊創始人Vitalik Buterin拋售MoonDAO社區贈與的所有Mooney治理Token,在 MoonDAO 社區引發熱議。MoonDAO 社區正在提議支持即將進行分叉的 ETHW 網絡。據悉,昨日MoonDAO剛剛完成送社區成員進去太空的重大里程碑,并規劃在太空中布置以太坊節點。[2022/8/5 12:04:57]
雖然這里開啟的可能性是驚人的,我確實承認,輪子還沒有平穩地運行。與數據工程相比,數據分析師/科學領域的生態系統仍然很不成熟。我認為有以下幾個原因:
數據工程是web3多年來的核心焦點,從客戶端RPCAPI的改進到基本的SQL/graphQL聚合。像theGraph和Dune這樣的產品就是他們在這方面所付出努力的例證。
對于分析師來說,要理解web3獨特的跨協議關系表是非常困難的。例如,分析人員可以理解如何只分析?Uniswap,但卻很難在混合中添加聚合器、其他DEXs和不同的代幣類型。最重要的是,實現這一切的工具直到去年才真正出現。數據科學家通常習慣于收集原始數據并獨自完成所有的工作。我認為他們不習慣在開發初期與分析師和工程師進行如此密切和公開的合作。對我個人來說,這花了一段時間。
除了學習如何協同工作之外,web3數據社區還在學習如何跨這個新的數據堆棧工作。你不再需要控制基礎設施,或者慢慢地從excel構建到數據池或數據倉庫,只要你的產品上線,你的數據就會到處上線。你的團隊基本上是被扔到了數據基礎設施的最深處。
數據工具
以下是一些數據工具匯總:
下面我們看看每種類型以及用法:
交互+數據源:這主要用于前端、錢包和較低層次的數據攝取。1
客戶端:雖然以太坊的底層實現是相同的,但每個客戶端都有不同的額外特性。例如,Erigon對數據存儲/同步進行了大量優化,Quorum支持隱私鏈。
節點即服務:你不必選擇運行哪個客戶端,但使用這些服務將為你節省維護節點和API正常運行的麻煩。節點的復雜性取決于你想要捕獲多少數據。查詢+數據映射:這一層中的數據要么作為URI在合約中引用,要么來自使用合約ABI將交易數據從字節映射到表模式。合約ABI告訴我們合約中包含哪些函數和事件,否則,我們只能看到部署的字節碼。
交易數據:這些是最常用的,主要用于儀表板和報告。theGraph和FlipsideAPI也在前端中使用。有些表是合約的1:1映射,有些表允許模式中額外的轉換。元數據“協議”:這些并不是真正的數據產品,而是用于存儲DIDs或文件存儲的。大多數NFT將使用其中的一個或多個數據源,我認為今年我們將開始越來越多地使用這些數據源來增強我們的查詢。專業提供商:其中一些是非常健壯的數據流產品,Blocknative用于mempool數據,Parsec用于鏈上交易數據。其他的聚合鏈上和鏈外數據,比如DAO治理或國庫數據。高維度數據提供商:你不能查詢/轉換他們的數據,但是他們已經幫你完成了所有繁重的工作。如果沒有強大的、杰出的社區來配合這些工具,web3就不會出現!我們可以看到每種類型對應的杰出社區:
Flashbots:專注于MEV上,提供從保護交易的自定義RPC到專業白帽服務的所有事宜。MEV主要指的是槍跑問題,當有人支付比你更多的Gas,這樣他們就可以搶先執行他們的交易。Dune數據精英:專注于為Dune的數據生態做貢獻的數據分析精英。Flipside數據精英:專注于為Web3數據升天做貢獻的數據分析精英。MetricsDAO:跨生態工作,處理多個鏈上的各種數據獎勵。DiamondDAO:專注于Stellar的數據科學工作,主要在治理、財政庫以及代幣管理方面。IndexCoop:專注于代幣等特定領域的分析,以制定加密貨幣行業最好的指數。OurNetwork:每周對各類協議以及Web3的數據覆蓋。注:以上DAO的參與聯系方式詳看原文。
每個社區都做了大量的工作來改善web3的生態系統。毫無疑問,擁有社區的產品將以100倍的速度增長。這仍然是一個被嚴重低估的競爭優勢,我認為除非人們在這些社區中建立了一些東西,否則他們不會獲得這個優勢。
數據團隊
不用說,你也應該在這些社區中尋找可以加入你的團隊的人。讓我們進一步分析重要的web3數據技能和經驗,這樣你就能真正知道你在搜索什么。如果你想被雇傭,把這看作是你追求的技能和經驗!
至少,分析師應該是Etherscan偵探,知道如何閱讀Dune儀表盤。這可能需要1個月的時間來適應悠閑的學習,如果你真的要瘋狂學習,則需要2周的時間。
除此之外,你還需要考慮更多的內容,特別是時間分配和技能轉移。
時間方面:在web3中,數據分析師大約有30-40%的時間將花在與生態系統中的其他分析師和協議保持同步上。請確保你不會氣暈他們,否則,這將成為對每個人的長期損害。與更大的數據社區一起學習、貢獻和構建是必要的。可轉移性方面:在這個領域,技能和領域都是高度可轉移的。如果使用不同的協議,可能會減少上手時間,因為鏈上數據的表模式都是一樣的。記住,知道如何使用這些工具并不重要,每個分析師或多或少都應該會寫SQL或創建數據儀表盤。這一切都是關于如何做出貢獻并與社區合作。如果你正在面試的人不是任何web3數據社區的一員,你可能要問問自己這是否是一個危險信號。
“像素小鳥”是一款橫版卷軸手機游戲,玩家需要操控小鳥在綠色水管間穿梭,避免碰撞。NguyenHaDong在2013年4月開發了這款游戲,隨后一夜間爆火.
1900/1/1 0:00:002022年2月8日上午06:30,福布斯發布最新2022年“區塊鏈50強”榜單,當中入選企業收入或估值超過10億美元.
1900/1/1 0:00:00原文來源:TheDefiant 編譯:Kyle VitalikButerin在19歲時撰寫了以太坊白皮書.
1900/1/1 0:00:00作者|王晟宇 2月11日,獲得國際奧委會授權的2022冬奧會吉祥物冰墩墩相關NFT產品在nWayPlay上線,單個售價99美元,本次發行500個.
1900/1/1 0:00:00據區塊鏈瀏覽器TRONSCAN數據,過去十三周,TRX連續處于通縮狀態,通縮量達1.79億枚TRX.
1900/1/1 0:00:00點擊上方“藍色字”可關注我們!暴走時評:Immunefi發布了迄今為止金額最高的漏洞賞金,旨在幫助MakerDAO找出其智能合約和應用程序中的潛在漏洞,以防止可能出現的經濟損失.
1900/1/1 0:00:00