一文了解顶级 Web3 数据工具指南以及如何使用
Web3 数据工具正变得更简洁、更可信、更具社交性和协作性。基础设施正在不断发展,以便我们都可以更快地查询和定义更好的指标,改进我们可以在产品中发现和探索的内容。
原文标题:[2023] Guide to Web3 Data Tools
原文作者:Andrew Hong,Dune Analytics Headmaster
原文来源:Web3 Data Degens
编译:DeFi 之道
又是一年过去了,却感觉像过了十年!在阅读本文前,我建议可以先查看我的 2022 年指南,因为大多数概念仍然与背景相关。今年的工具指南同样涵盖了三大支柱,但与往年相比有着新的视角:
- 工具:根据效用组织数据工具
- 思考:关于加密数据的可组合性和噪声
- Teams 分析师:建立 web3 向导的形象
由于这个领域变得更加复杂,我将指南分为三个部分。这个部分仅涵盖 web3 数据工具,特别是在数据分析的背景下。
关于数据工具:
每个工具——无论它们最初是作为索引器、浏览器、记分器、查询引擎等,现在都包含带有一些 API 支持的原始查询和聚合查询。因此,我不再将数据工具视为技术堆栈,而是将其视为实用程序堆栈。
这意味着所有工具在它们适合的分析过程中都有一些“用例”,从而形成一个堆栈。我在下图中列出了我所知道的顶级工具!然后我将在实用程序层的基础上简要地解释每个工具。
一些免责声明:
- 我目前在 Dune全职工作。
- 🧪 表示这部分产品目前仍处于内测阶段。因此,你需要向团队申请访问权限。
- 我选择不在这部分的分析中包括纯粹的 API 产品,因为现在每个工具都拥有一个 API,其中混合了原始/解码/聚合数据。我不能在这里合理地涵盖所有的产品。如果你想了解一些增强型 API 的发展方向,请查看这篇文章。
- 实际上,如 Dune 等查询仪表板提供商可以支持这里的所有部分功能。然而,基于查询的仪表盘还不能与特定部分的专用应用程序的 UX(功能循环和低延迟)相比,因此本文并没有将它们包括在内。
发现:查找并比较高级趋势
所有的旅程都从某个地方开始。我使用本节中的几个工具来研究一个主题,并发现我想进一步探索的趋势。找到正确的问题进行分析是 web3 最困难的部分之一,而使用这些工具可以让它变得容易得多。
💡OurNetwork和Dune Digest是链上分析 alpha 的两个最佳新闻聚合器。在本节中,我对各种工具的许多发现之旅都始于它们的文章。
协议/域
要根据各种指标了解协议(或域)的执行情况,你可以参考以下这些工具的其中之一。
- Dune可用于为erc20、NFT、质押、空投、拍卖等查找细化仪表板。它具有一个本机搜索功能,可以对仪表板、向导和查询进行排名。
- Flipside可用于发现数据科学的文章和研究,如流动资金池 PnL、钱包排名等。他们目前正在对较新的仪表板功能进行 Beta 测试。
- DefiLlama在 TVL、数量和收益率方面具有高级趋势。你可以在他们的 2022 年回顾中找到一些顶级示例。
- Messariprotocol/pool board是 DefiLlama 的一个很好的替代品,并且正在快速增长。
- Token Terminal使协议(dapps)或链的收入、收益和费用的传统分析变得容易。
- Artemis 拥有最好的链开发/社交活动图表,并包括概述链指标。并且它们与 google sheet 很好地结合在一起。
代币
虽然你可以使用更多定制的查询仪表板(如之前链接的那些)来深入研究代币,但你可能需要更优化的产品界面来使发现和比较过程更快、更容易。
- Nansen 的Token God模式和代币(defi/NFT)paradise 提供对分布、交易和钱包趋势的洞察。
- DefiLlama允许你密切分析代币对的交易量和流动性深度。
- Parsec 通过可定制的终端对代币进行彭博风格的分析。
DAO/治理
治理对于跟踪趋势越来越重要,因为协议更改/更新变得更加频繁,而金库需要投资或花费资金。
- Messari :通过在它们的治理浏览器中标记讨论、重要性、治理流程和子 DAOS 来提供对提案的见解。
- Tally:随着时间的推移,投票权是对 DAO 的一个很好的开始概述,并且它们具有用于查找 DAO的按链筛选功能。
- Boardroom:有一个很好的可过滤的所有 DAO 提案的提要,尽管我希望有更多的参数可以过滤(即价值超过 20,000 美元的提案)。
- Agora:目前它仅适用于 Nouns,但是对于了解选民概况和代表目标非常有用。
探索:快速查看地址和交易以获得详细背景
一旦你发现了一些有趣的趋势,你可能想要弄清楚常见的交易是什么样子的,以及所有交易背后的钱包/地址是什么。
这是你扩大范围以确保你不会遗漏任何有助于分析的背景线索的步骤。而在这一步骤中,你可能会打开 20 个不同的选项卡。
💚 我构建了一个仪表板,可以很容易地深入到任何合约地址并了解协议是如何工作的。
交易可视化工具
交易可以是任何东西,从简单的 ETH 转移到稍微复杂一点的杠杆曲线(leveraged curve) stETH/ETH 保险库。在此过程中,我们通常需要跳过交易、跟踪、日志、合约代码、状态数据。
- Blocksec/Phalcon非常适合研究交易中的跟踪和日志。它们清楚地说明了所有内部调用和事件的发出顺序。其最新更新为该工具添加了代码片段和平衡流程图。
- Tenderly多链浏览器包含了最快的跟踪 <> 代码片段侦查,以及其他功能。它拥有所有工具中最流畅的 UX/UI,但是它可以通过事件日志跟踪和代码片段做得更好。
- Blocknative是 mempool(交易队列)的专业浏览器。你可以在此处实时监听提交给任何合约的交易。
地址/钱包可视化工具
对于这些工具,轻松快速搜索、交叉分析、组合和共享钱包余额和活动是关键。虽然还有更多“投资组合”风格的应用程序,如zapper.fi和rotki,但这些应用程序都不利于数据分析工作,因此没有直接包含在这部分内容中。
- Nansen加强了标签,并推出了一个与它们的代币分析页面完美匹配的钱包分析器。
- 当涉及到分析多个链上的钱包时,Zerion 和 Debank 是 Nansen 的最佳免费替代品。
- Warden允许以易于搜索的格式对钱包进行特定于 DeFi 的分析(清算、借贷等)。他们支持 Aave,很快将会支持 Euler、Notional 和 Compound。我猜想这种工具明年将需要有自己的部分,因为它会引发一波重度的 DeFi 分析探索者浪潮。
- 一旦你记住了一些代币,Bubblemaps将有助于你识别有趣的钱包集群和连接。
混合(交易+地址/钱包)
这些是用于探索的一体式解决方案。这将成为一个更加拥挤的领域,将催生出该领域一些最强大的通用产品——下一个谷歌很可能从这里开始。
- Etherscan非常适合快速获取单个地址的概况。我通常将其用于标签并快速检查特定代币(对于一个给定钱包)的余额和历史转账。他们还有最基本但易于理解的交易概述。
- 🧪Onceupon.gg是分析师的梦想。它们支持无限水平滚动的迷你窗口,并在特定代币和实体的背景下,按方法和来源(包括跟踪)快速过滤所有交易。在你点击进入之前,每笔交易都以人类可读的方式进行标记和描述。钱包和窗口分组可以轻松共享和消化。最重要的是所有地址都有一个“邻居”选项卡,用于快速识别顶级交易对手,并使用一个图形网络可视化来补充你的分析。
- 🧪Arkham是最专注的网络和交易对手分析工具。你可以轻松查看个人/团体之间的交易对手/交易所和余额,并轻松按交易细分转账的流入/流出。它们的图形网络工具使 zachxbt 风格的侦查比以往任何时候都更容易——你可以轻松调整时间尺度以查看特定钱包在特定时间段内的关系。
自托管
这些选项允许你在本地运行开源区块浏览器,也是混合解决方案。
关于【一文了解顶级 Web3 数据工具指南以及如何使用】的延伸阅读
香港Web3,究竟行不行?
香港虚拟资产平台牌照发放一周年,11家平台申请牌照,2家成功获得。未获得牌照的平台离开香港,原生加密平台也出走。发牌过程中,规模和专业度是重要考量,本土金融机构和具备内地资源优势的平台获得先机。有传言称,离岸交易所无法满足监管要求,导致多家知名加密交易所撤回申请。香港监管机构撤回Hashkey Exchange的合规申请,可能是因为涉及敏感地区客户服务或监管人手有限。香港虚拟资产现货ETF表现优异,但市场缩水,流动性差,难以吸引外资。香港选择从传统资本端而非加密原生应用切入,填补资产空白,探索传统领域的Web3资产转型。未来,香港Web3的发展仍有待观察,但去中心化市场与传统机构升维的碰撞仍需时间。
火币HTX重磅亮相GM Vietnam 2024并举办Web3未来之夜:聚焦加密新趋势 推进全球化战略
火币HTX参加GM Vietnam 2024,与越南本地区块链公司和社区合作,推动技术创新。活动上,火币HTX展示了安全合规的交易所经验,并建议用户谨慎投资和多元化投资。此外,火币HTX还与知名媒体ChainCatcher合作举办了“Web3未来之夜”活动,探讨未来发展机遇。火币HTX表示,越南作为亚洲新兴市场,正逐渐成为Web3行业的焦点,将继续关注和支持越南市场的发展。
- Otterscan:基本功能与 etherscan 相当(大致)。
- Trueblocks Explorer:最快的帐户历史记录抓取器(可能)。核心项目在下一节。
挖掘:为链上数据编写自己的查询
所有 SQL 引擎都是基于云的,因此你可以使用浏览器内的 IDE 来查询原始数据和聚合数据(如 nft.trades/dex.trades)。这些还允许定义很好的表格,例如NFT 清洗交易过滤器。
最好的协议、社区和代币分析从这里开始! 一些引擎有更多的专业表,我会列出来。
可用的免费层(SQL)
可以免费访问这些引擎。
- Transpose(25 秒免费限制,顶级计划最多可延长 10 分钟)。
- Flipside(15 分钟免费限制,无计划)。目前唯一具有存储/状态表的,由TokenFlow 提供。
- Footprint(20 分钟免费限制,付费计划可扩展计算)。我见过的唯一一个以 gamefi 为中心的聚合。
- Dune(30 分钟免费限制,付费计划可扩展计算)。唯一一个有解码表的工具,所以你不必处理原始十六进制/bytea 转换、函数/主题签名过滤或代理/工厂模式。
仅限付费(SQL)
仅当你使用付费计划并获得批准访问时,才能访问这些引擎。
- 🧪Nansen目前正在测试他们的新查询引擎。你终于可以查询它们的实体/地址标签表了!
- Goldsky允许将子图从 theGraph(或创建新子图)迁移到它们的托管服务。你可以轻松组合子图,解决 theGraph 的一大缺点(尽管失去了去中心化)。
- Covalent Increment有一个巨大的表,可以从中查询所有原始数据,并且最近开始添加聚合数据。
自托管
这些都是代码包,可让你快速获取原始数据、解码数据和聚合数据(使用给定链的一些 RPC 提供程序)。好处是,如果你运行更高效的客户端(特别是Erigon),你可以更快地探索更多数据。
请注意,Erigon 需要一周的时间来同步,并且你的驱动器上需要有 > 2TB 的空间;将来可能会更快。
Python:
- web3.py:在以太坊上轻松使用合约 ABI 和节点提供商(客户端)的首批软件包之一。
- ethereum-etl:Nansen 和 google Bigquery 使用它来获取特定块范围的链。可以轻松导出到不同的数据库或文件类型。
- checkthechain:唯一在 web3.py 的基本功能之上具有域聚合(如 uniswap 池)的包。为数据科学家定制。
- Ape在成为更安全的 vyper 解决方案之前曾经是这样的。
- mev-inspect-py:按区块查询 MEV 数据(即矿工付款/利润、掉期、套利等)。这个 flashbots 数据也可以在 Dune 中找到。
Golang:
- trueblocks-core:这个工具可以非常快速地获取任何地址的交易历史。在上面的资源管理器中可视化。
Javascript/Typescrip:
- web3.js:原始的 web3 脚本包。与以太相比,这里的许多方法/模式现在被认为过于冗长。
- ethers.js/ts:更高效/精简的 web3 脚本包,广泛用于前端和智能合约测试套件,如 truffle 和 hardhat。
Rust
- ethers-rs:我相信主要是为了与 foundry合作而创建的(比如 ethers.js <> hardhat)。
定义:创建可信的指标和聚合
原始数据很好,但要获得更好的指标,你需要能够跨不同协议的合约对数据进行标准化和聚合。一旦你有了聚合,你就可以创建新的指标和标签来增强每个人的分析。
这一层社区拥有最深入的 web3 领域、技术和背景知识组合。
协作
所有定义的视图都是开源的,你可以贡献自己的代码/与其他分析师协作。
- Dune允许创建你需要的任何模型,其中所有链都在一个 repo(存储库)中。已经有 300 名贡献者(社区 + 团队成员的组合)。
- Flipside允许创建你需要的任何模型,其中每个链都有自己的repo。
- DefiLlama允许对一组预定义的指标做出任何贡献,并且通常是基于子图构建的。
- theGraph允许任何人创建 graphQL 模式和映射,仅限于特定网络,通常一次只能使用一个协议(即定义的合约)。Messari以更有条理的方式构建在它们之上(即像 Dune/Flipside/DefiLlama repo)。
- 🧪Goldsky基本上是 theGraph,但仅适用于私人/付费客户,并用 SQL 编写。
上一节中有一些查询提供程序定义了自己的聚合,但它们不是开源的,你不能自己添加到它们中。
期待未来
总而言之,Web3 数据工具正变得更简洁、更可信、更具社交性和协作性。基础设施正在不断发展,以便我们都可以更快地查询和定义更好的指标,改进我们可以在产品中发现和探索的内容。整个生态系统就像一个“大飞轮”,而这个小社区最终建立在一起,使数据流动起来。需要强调的是, web3 数据本质上都是社交的!
这只是我 2023 年指南的第一部分,后续其他部分将更具体地针对分析师,并且更具技术性。
免责声明:本文仅代表作者个人观点,不代表链观CHAINLOOK立场,不承担法律责任。文章及观点也不构成投资意见。请用户理性看待市场风险,以及遵守所在国家和地区的相关法律法规。
图文来源:Andrew Hong,Dune Analytics Headmaster,如有侵权请联系删除。转载或引用请注明文章出处!