2022年6月3日 端午節安康。
今天主要分享如何利用爬蟲爬取區塊鏈瀏覽器上的交易列表數據。
dune上沒有bsc鏈上的轉賬明細數據表。Footprint Analytics上現有的bsc_transactions表transfer_type粒度不夠。
python 3.7
數據存儲:mysql 5.7
緩存:redis 6.2.6
開發工具:pycharm
(1)所有協議、合約、swap地址轉賬信息全爬不太實際,對存儲要求比較高。所以針對需要分析的協議,專門去爬取對應智能合約轉賬是個不錯的選擇。
(2)區塊鏈瀏覽器肯定是有反爬機制的。所以在代理選擇上,要選擇國外的代理。國內的代理都訪問不到,具體原因你懂的。本文中不涉及代理部分,因為國外的代理廠家之前沒有了解過。不過即使是上代理,對代碼層面改動也比較小
Lido與預言機Pyth Network達成合作,以提升stETH支持產品的流動性:6月29日消息,Lido與Jump Trading旗下預言機項目Pyth Network達成合作,旨在將實時、無需許可的stETH價格數據提供給20多條區塊鏈網絡。
本次合作提升了stETH支持產品的可訪問性和流動性,激發了DeFi創新,并吸引尋求了解stETH的用戶。[2023/6/29 22:09:00]
(3)采用了urllib同步請求 + 范圍內隨機時長程序休眠。減少了被風控的概率。但是也降低了爬蟲的效率。
后面再研究用scrapy或異步請求
同步:請求發送后,需要接受到返回的消息后,才進行下一次發送。異步:不需要等接收到返回的消息。
預言機解決方案Pyth Network與AAX交易所達成合作:2月10日消息,預言機解決方案Pyth Network與AAX交易所達成合作。AAX交易所將提供實時的加密貨幣市場數據,相關集成預計將在本月內完成。[2022/2/10 9:43:25]
找到需要爬取合約的具體地址:
第一頁
http://bscscan.com/txs?a=0xbd3bd95529e0784ad973fd14928eedf3678cfad8第二頁
https://bscscan.com/txs?a=0xbd3bd95529e0784ad973fd14928eedf3678cfad8&p=2第三頁
Akuna Capital將向Pyth Network提供加密資產市場數據:主營期權做市的高頻交易做市商Akuna Capital宣布加入Solana生態預言機解決方案Pyth Network網絡,最初將向Pyth Network提供其加密資產市場數據,之后將擴展到其他期權產品的基礎資產。
Akuna Capital成立于2011年,總部位于芝加哥,是一家主營期權做市的金融自營交易公司,交易的金融產品包括期權、期貨和加密資產等。(businesswire)[2021/7/20 1:05:52]
https://bscscan.com/txs?a=0xbd3bd95529e0784ad973fd14928eedf3678cfad8&p=3....
動態 | 軟件開發人員推出新BCH庫Bitcoinpython:據bitcoin.com報道,軟件開發人員Corentin Mercier在推特上宣布推出使用Python編程語言編寫的新BCH完整節點。該項目被稱為Bitcoinpython,Mercier稱其為迄今為止“最快、最簡單的Python庫”。該庫據稱有五個好處,有著強大的API、符合所有BCH改進協議、適用于所有主要平臺、有著大量的文檔以及比此前的Python庫快100倍。[2019/3/29]
可以知道 p = ?就代表頁數。
然后F12 點擊“網絡”,刷新界面,查看網絡請求信息。
主要查看,網頁上顯示的數據,是哪個文件響應的。以什么方式響應的,請求方法是什么
如何驗證呢,就是找一個txn_hash在響應的數據里面按ctrl + f去搜索,搜索到了說明肯定是這個文件返回的。
查看響應的數據,是html的格式。在python里面,處理html數據,個人常用的是xpath(當然,如果更擅長BeautifulSoup也可以)
在python里面安裝相關的依賴
pip install lxml ‐i https://pypi.douban.com/simple同時在瀏覽器上安裝xpath插件,它能更好的幫助我們獲到網頁中元素的位置
XPath Helper - Chrome 網上應用店 (google.com)
然后就可以通過插件去定位了,返回的結果是list
**注:**瀏覽器看到的網頁都是瀏覽器幫我們渲染好的。存在在瀏覽器中能定位到數據,但是代碼中取不到值的情況,這時候可以通過鼠標右鍵-查看網頁源碼,然后搜索實現
然后就是利用redis,對txn_hash去重,去重的原因是防止一條數據被爬到了多次
最后一個需要考慮的問題:交易是在增量了,也就是說,當前第二頁的數據,很可能過會就到第三頁去了。對此我的策略是不管頁數的變動。一直往下爬。全量爬完了,再從第一頁爬新增加的交易。直到遇到第一次全量爬取的txn_hash
最后就是存入到數據庫了。這個沒啥好說的。
以上就可以拿到轉賬列表中的txn_hash,后面還要寫一個爬蟲深入列表里面,通過txn_hash去爬取詳情頁面的信息。這個就下個文章再說,代碼還沒寫完。
今天就寫到這里。拜拜ヾ(?ω?`)o
來源:Bress
作者:撒酒狂歌
Tags:YTHHONORKWORYTH價格HongKong BTC bankKeep3r BSC NetworkWorldcoin幣app下載
在近期的 Zero Knowledge 播客節目中,Parity 聯合創始人 Rob Habermeier 分享了 XCM 如何允許平行鏈相互通信。本文是該播客的第二部分.
1900/1/1 0:00:00過去 · 現在 · 一個未來:Web3圖書館 博爾赫斯說:如果有天堂,天堂應該是圖書館的模樣。然而其無窮無盡相連的構造設計,在物理世界的重重限制中,更像一個思維游戲,并不能真正實現.
1900/1/1 0:00:00Avalanche雪崩協議致力于集成市場領先的智能合約基礎設施,為日益壯大的開發者群體提供更有力的支持.
1900/1/1 0:00:002022年6月10日,以太坊2.0質押協議Geode Finance宣布完成了數額為300萬美元種子輪融資,本輪融資由Multicoin Capital領投.
1900/1/1 0:00:00首例元宇宙星空間生日應援,在元宇宙里開生日party是一種怎樣的感受?6月3日,是演員迪麗熱巴的30歲生日,所謂三十而立,如今的熱巴在不斷精進自身事業的同時,也收獲了許多“愛麗絲”們的喜愛.
1900/1/1 0:00:00似乎可以感覺到,整個世界都在為加密貨幣和NFT歡欣鼓舞。然而許多業內人士擔心,這種淘金熱類似于 "集體Theranos"(譯者注:Theranos公司是美國歷史上最大的生物醫學欺詐案,創始人 E.
1900/1/1 0:00:00