区块链数据产业如何产生和捕获价值?

释放双眼,带上耳机,听听看~!

在本文中,我们将讨论区块链世界中的数据供应,以及以数据为核心产品的服务提供商如何形成一定的市场规模,即如何产生和获取价值。

区块链本质上是一个分布式数据库。虽然它具有开放性、透明性和可追溯性的特点,但直接访问或获取书面数据并不方便。它需要一个特定的接口、格式和改变存储类。大多数区块链使用键值数据库,这便于多写少读,而普通用户则习惯于使用关系数据库。可以使用SQL之类的查询语句查询关系数据库。dune analytics等服务提供商将链上的数据转换为关系数据库,以便于检索。中间过程还包括数据存储和再处理过程。

通常有两类有价值的数据:

链上数据:链上相关数据(散列、时间戳、难度等)、传输、普通交易、智能合约事件等,此类数据由分布式数据库维护,一致性保证可靠性。即区块链的核心数据。

非链数据:与链相关的数据,其准确性取决于集中或去中心化节点的验证,如Exchange和预言机机器,类似于Web 2.0服务。交换数据在链上和链外之间。它是对链上数据进行链外计算,然后由链上数据进行验证,从而产生大量数据。

我们认为,数据市场需求爆炸是由以下因素驱动的:

多链宇宙(含 Layer2)的成

应用的增加和用户的增加

应用带来的数据需求的增加(如开发、分析、交易、金融产品的使用等)

用户行为复杂化

数据市场参与者

交易者

交易者根据各种数据信息判断交易方向,如观察公链活动、指数交易、贷款协议贷款等。他们需要可靠的数据源,一些高级用户将使用付费数据服务。

数据提供者

被动生产者(不是为了数据利润):如区块链节点、交易所和普通用户

主动房地产提供商(以数据盈利为目的):API提供商、数据搜索引擎、定制数据包。它们通常是原始数据的处理器。

开发者

开发人员查询和调用链上的数据,并与区块链交互。由于节点服务提供商的存在,开发人员可以直接与链交互,而无需构建自己的节点。许多DAPP和第三方钱包应用程序依赖于;Infura;此类节点服务提供商与区块链互动。开发人员的需求来自:网络状态监控、事务执行状态监控、稳定的执行环境、市场和竞争产品趋势信息、产品和市场战略设计、根据客户偏好改进产品性能等。

需要不断监视网络状态的应用程序和中介

例如,贷款协议需要监控帐户状态,一些自动化中间件需要及时反馈价格变化。

区块链数据结构、存储和访问-以太坊为例

键值数据库

区块链本质上是一个数据库。与公众熟悉的关系数据库不同,以太坊使用的键值(K-V)数据库基于Google的level dB,适用于多写少读的场景。经过多年的发展,关系数据库已经被程序员所接受,也非常有助于普通人的理解。关系数据库的结构是一系列表。

键值数据库是一种新兴的非关系数据库。它的结构相对简单:键用作唯一标识符,值存储数据,值可以是任何东西。它不需要遵循表结构。它具有灵活性和可扩展性。与关系数据库相比,键值具有良好的可扩展性,可以提供大量的数据读写。它通常用于缓存。

大多数分布式数据库使用键值数据库,它依赖于LMS树的结构来进行有效的数据写入和查询。一些选择关系数据库,如ripple。

根据状态和交易,区块链数据的抽象结构如下:

数据
数据

以太坊的块数据包括块头和块体,块头包含多个字段。在结构上,以太坊的主干是三棵树:状态树、事务树和收据树。

以太坊的主字段是状态根(状态树),包含账户余额、对账单、随机数等。状态树采用Merkel-patrica结构,需要不断更新。交易树和收据树不需要更新,因此采用Merkel的数据结构:交易数据为永久数据,永久数据已记录且不会更改。状态树存储每个以太坊帐户的地址余额,一旦发生交易,将对其进行修改。

图中总结了以太坊的数据结构:

数据

永久和临时储存

如前所述,以太坊的底层数据以k-v的形式存储在底层leveldb中。然而,leveldb适合写多读少的场景,因此真正用于读取和查询的数据库是statedb,它管理所有帐户的集合,帐户的表示形式是stateobjectstatedb。它直接面向业务,是底层数据库(leveldb)和业务模之间的存储模块。采用两级缓存机制,满足查询、更新、调用等功能。一级缓存以map的形式存储stateobject,二级缓存以MPT的形式存储。当stateobject更改时,实例化的stateobject将被更新。调用mediateroot()时,它们将提交给MPT。调用committo()时,它们将被提交到基础leveldb。这形成了一个三级缓存结构。使用多存储数据库的优点是,当需要回滚时,可以直接调用stsatedb中MPT树的根节点来恢复数据。

数据

交易交易记录等中包含的字段。不同的字段对应不同的类。

Dune Analytics提供的以太坊可查询数据数据字段

日志是非常重要的数据,因为以太坊的智能合约在EVM中运行,并且与外部世界隔离。EVM中的事件通过日志传输到外部,并记录在区块链上。事实上,像ETHerscan这样的浏览器已经使用奇偶校验客户端回放EVM并获取智能合约交易(内部交易)的记录。

许多区块链结构也可以存储非交易数据,但容量有限。例如,在比特币的输出中,返回字段中的OP可以存储不超过40字节的数据。限制的原因是增加该部分将影响区块链的性能。以太坊的块头还具有一个可用于写入数据的额外字段,例如:

数据来源:https://ETHerscan.io/block/12912176

区块链不适用于文件存储。公认使用IPFs作为存储层和区块链的组合。例如,数据存储在IPFs中,但数据的哈希值存储在以太坊的状态数据库中。

隐藏物

除了上行事务,以太坊还有一个数据存储在缓存中,即MemPool中的排队数据。每个节点提交的事务将放入MemPool事务池。在序列化、事务验证、筛选和其他步骤之后,将选择并打包适当的事务。事务池中有队列和挂起映射,用于存储未验证的事务和已验证的事务。在清除队列和挂起后,应根据不同节点(由于分布式原因)提交的事务重构事务池,以防止分歧。

过去,交易池的数据并不那么重要,但随着智能合约交易比例的增加,交易的排序具有更大的经济意义,因此一些项目也开始做类似的工作。

趣味性强的的比如 Txstreet

真实提供交易池数据接口的比如 Blocknative

提供 MEV 解决方案的如 Flashbot

访问

如何访问以太坊上的数据?通常有两种方式:

用于远程访问以太坊的节点

使用 web3 或者是 JSON-RPC 的方式。JSON-RPC 是无状态的轻量级跨语言远程调用协议,文本传输的数据是JSON格式,传入和返回都是JSON格式。使用json prc,当客户端发送prc请求时,它可以通过以太坊客户端直接返回相应的数据,例如使用相应的字段、ETH_uGasprice、ETH_uBlockNumber等。

数据来源:深入了解以太坊

如果不使用JSON PRC,可以使用以太坊基金会提供的JavaScript库,即Web3.js。它在底部封装RPC。它与json rpc方法相同。首先创建一个Web3对象,然后可以使用库中提供的方法获取各种数据。例如,显示帐户的余额:

var balance_u1=web3.ETH.getBalance(web3.ETH.accounts[0]);log(balance_1.toString());

使用web3.js有一系列优点,因为它们有非常详细的模块:

web3-ETH用来与 以太坊 区块链及合约的交互;

web3-shhWhisper 协议相关,进行 p2p 通信和广播;

web3-bzzswarm 协议(去中心化文件存储)相关;

web3-utils包含一些对 DApp 开发者有用的方法。

JavaScript库还可以通过读取应用程序二进制接口(ABI)直接与复杂的智能合约交互。ABI是JSON形式的智能合约函数。因为智能合约是以实体形式编写的,所以可以通过JavaScript直接使用JSON形式。您可以做的事情包括将交易发送到合同、使用EVM估算汽油费、部署智能合同等等。

除了web3.js库之外,还有一些JavaScript库,如ETHer.js库。

使用web3.js的一个例子是区块链浏览器:使用web3.js访问以太坊,处理获取的数据,通过集中界面添加非链信息(如标签、项目名称),然后调用web3.js查询链上的数据,不断更新区块。

自己搭建节点,本地访问

自己设置一个节点就是下载所有以太坊网络范围的数据,这需要大量的成本和安全技术。大多数用户和开发人员不会使用此模式来使用数据。通常,他们会使用第一种方法或直接找到更好的API服务提供商。

流转过程

以太坊的本质是事务驱动的状态机。所有更改都从事务开始。变更记录是数据。API将数据流从头到尾链接起来。整个区块链数据流流程如下:

数据

数据服务器类

节点服务层

可以说,节点服务提供商已经成为以太坊运营的基础。例如,最著名的infra运行以太坊节点并提供IAAs服务,消除了建立以太坊节点的过程,应用程序可以直接通过Web3访问。API变成了一个管道。如果您需要使用数据,您可以为管道付费。

底层数据服务(与链交互)和上层数据服务可以紧密合作。下层提供节点,上层提供数据查询。例如,quicknode和dune analytics之间的合作就是一个例子。Dune提供了一个用于数据分析的数据库,可以通过SQL语句查询该数据库,还可以可视化数据。在dune出现之前,没有统一的数据格式来比较项目。Dune是quicknode的主要客户。以前,它使用自建的奇偶校验节点。通常需要担心节点的内存泄漏和磁盘空间不足,而且成本很高。使用quicknode后,成本从每月1000美元大幅降低到35美元。此外,quicknode还提供类似CDN的服务,这可能是促进DAPP应用程序体验的另一个方向。它还可以帮助访问MemPool数据。还可以提供专用节点。Quicknode拥有业内一些知名用户,如Nansen、PayPal、dappradar和chainlink

Alchemy梳理了区块链的底层架构,区块链可以提供典的json rpc API和增强的API,以简化日常请求并简化开发人员的成本。炼金术还支持许多著名的项目,如cryptokitties、formal、Bancor和celer。

Infra、alchemy和quicknode都有一些知名用户:

数据

处在这一赛道的还有 Crypto API,Blockchair,Blockdaemon 等。

查询索引服务层

数据服务的下一层是应用程序服务,如dune analytics。尽管区块链的数据是开放和透明的,但在缺乏工具的情况下,数据是混乱的。需要编写各种脚本来访问块、遍历信息等,然后对其进行格式化。

Dune首先解析区块链(主要是以太坊)上的数据,然后将其填充到数据库中,成为PostgreSQL数据库。用户不需要编写脚本。只要能够使用简单的SQL语句,它们就可以进行查询。Dune用作解析和格式化数据的层,还提供可视化工具。以太坊是一个键值数据库。Dune将其转换为关系数据库。SQL语句是关系数据库的接口。dune提供的数据表如下:

  1. 原始交易数据提供区块链上所有活动的详细记录
  2. 项目级数据表,返回解码项目的预处理数据
  3. 抽象表是一种更高级的表,返回相关行业/主题的聚合数据。

以太坊和;目前得到支持;xDai(以太坊)两条链条。以太坊的原始数据包括四种类的数据:块、日志、事务和跟踪。Dune将其解码为人类可读的格式。

图表;它提供了一个数据搜索引擎。在GraphQLAPI的帮助下,用户可以通过子图直接访问信息。此外,该图是去中心化的,并得到许多DeFi项目的支持。它还提供一些柱状子图(类似于dune analytics用户的查询或仪表板),供具有平均代码能力的用户直接使用。

数据查询过程遵循以下步骤:

Dapp 通过智能合约上的交易将数据添加到 以太坊 。

Graph Node 持续扫描 以太坊 的新块和它们可能包含的子图数据。

Graph Node 在这些块中为子图查找 以太坊 事件,并运行映射处理程序。(映射是一个 WASM 模块,用于创建或更新 Graph Node 存储的数据实体,以响应 以太坊 事件。)

去中心化的应用程序使用节点的 GraphQL 端点向 Graph Node 查询从区块链索引的数据。Graph Node 反过来将 GraphQL 查询转换为对其底层数据存储的查询,以便获取该数据,并利用存储的索引功能。

Dapp 将这些数据显示在终端用户的前端中。用户通过前端进行交易活动。

因为它是一个去中心化的模,图设计了一个GRT令牌机制来鼓励多方参与网络,涉及四个类别:委托人、索引人、策展人和开发者。简而言之,用户提出查询需求,索引器运行图节点,客户端向索引器承诺GRT令牌,管理员使用GRT指导哪些子图具有查询值。

快速和节省资源:图形的价值在于它可以非常快速地用数据回答具体问题。他们给出了一个例子:对于cryptokitties,您可以查询2018年1月至2月出生的kitties的所有者,这需要遍历智能合约的出生事件和ownof方法。这样的问题可能需要几天的时间。图的子图是解决这些问题的索引。

与图表类似的其他项目包括:Covalent提供了一个数据查询层,以便工程师能够以API的形式快速调用数据。一个简单的API可以解决所有共价支持链的数据。Covalent的数据集是相对完整的,可以与多个链和项目一起查询,而没有强大的编码基础。Covalent还拥有自己的代币CQT,代币持有人可以使用它进行宣誓和投票(数据库中新增)。共价键有两种端点。一是区块链的所有数据类,如余额、交易、日志等;另一个是协议的端点,例如查询AAVE日志。共价键的特征是跨链查询。它不希望重新建立类似于子图的索引。其次,可以通过改变链ID来实现,大大增强了查询的可扩展性。

Subquery是一个专注于Poka ecology的数据提供商,它可以转换和查询Web3.0生态数据。子查询受图形的启发,使用Facebook开发的graphql语言。子查询以所有polkadt和substrate为目标,并提供一个开源SDK。与图相比,子查询作为一个开放市场,有三个角色:消费者、索引和客户。消费者发布提供数据的任务,并将空闲的SQT令牌委托给索引器,以鼓励他们更诚实地参与工作。代币经济学与图表类似。

如前所述,blocknative专注于实时事务数据的检索功能,并提供MemPool数据浏览器。最大的特点是它突出了实时性能。跟踪与交易相关的相应字段的结果,如地址跟踪、内部交易跟踪、未成功交易信息、被替换交易信息,如加速或取消。

主要的产品有:mempool 浏览器、网站 SDK、Gas 平台和模拟平台

Mem 浏览器,通过 API 形式的可以订阅 mempool,可以精确到任 火币3 一个协议中,比如 UniswapV3, Sushiswap 的相关交易在 mempool 里面的表现

Gas 平台,通过实时 mempool 数据来预测 gasfee 的工具

模拟平台功能,模拟 mempool 中检测可被执行的事务,并根据当前块高度对它们进行模拟,以显示它们的效果。只要符合 Blocknative 检测规则的交易进行模拟

SDK 平台,各类网站可以通过 javascript 挂接 Blocknative 的 API,来显示该网站产品的交易执行情况

Blocknative是一个专门用于检测MemPool的数据网站。由于MemPool的数据与最终块数据不一致,其及时性和其他数据索引都高于要求。以太坊有一个复杂的系统来管理MemPool中的事务。block native提供的字段查询更直接、更准确。

数据分析层

这一层主要提供链上或链下的一整套数据集或API,以方便交易者进行分析。

链上和链下数据:链上数据的提供者总是有非常详细的原始数据,但不需要非专业的理解。事实上,许多用户不需要非常高的粒度。这些参与者包括Coimetrics、nomics、glassnode、intotheblock、cryptoquant等。他们自己将拆分每个事务,但提供的产品是事务的集合。另一类是交换数据,包括skew、Kaiko和coinapi。他们收集各种交易所的交易数据,并为交易员打包。包括最近兴起的Nansen,它加深了标签的精细度,这也意味着深粒度/面向领域的数据受到重视。

业务非常传统:这些服务提供商规模不大。经过几年的竞争,上面提到的这些名字最初已经用光了。它们基本上是价值数千万美元的集中项目(市场需求尚未完全实现)。业务逻辑易于理解,有传统的可比目标,良好的数据遵从性是一个很好的收购目标。

交易所也自然地参与其中:除了集中的API供应之外,交易所本身还提供大量数据。这部分由中央交易所私有。交易所将这部分数据半免费对外开放,属于整个区块链中最有价值的类别。对于交易者来说,订单簿和交易量是有用的。Orderbook类似于以太坊的内存池数据。另一种类是交换钱包和链上的交互数据,这代表了一定的市场氛围。

数据的合规性没有得到重视:对于许多服务提供商来说,合规性是一个不太重要的水平,不仅是公司的合规性,而且是数据。Kaiko拥有广泛的数据和精细的粒度。它有一套标准化完整数据的方法,满足传统机构投资者的合规要求,并符合figi(金融工具全球标识符)标准。它是一家经认证的figi服务提供商。这是未来体制动员趋势下的一大优势。

此外,还有各种DeFi分析面板,如DeFi pulse、dfilima、debank等,它们提供了自己良好的数据集。

数据服务提供商仍有很大的空间来提高其价值

提高可靠性

越来越多的区块链数据是一种必然趋势。然而,只有通过分析数据并获得可操作的意见,我们才能利用数据的真实价值。区块链技术在数据分析领域扮演着两个截然不同的角色。首先,存储在区块链和区块链网络本身中的数据提供了丰富的信息源。其次,通过向数据和衍生分析模中添加保证元素,区块链可以为多方数据共享打造一个可信的数据分析环境。

虽然规模不断扩大,但数据质量却没有得到重视。数据质量代表了数据可用性的问题。数据质量需要以下标准:

一致性-数据没有矛盾且一致。

可追溯性-数据可审计,变动可追踪

可用性-能够被授权用户和应用程序进行检索。

合规性-数据符合标准、惯例或一些已经执行的规定

机密性-数据只能被授权用户访问

可信度-用户相信数据的真实性

区块链数据具有良好的一致性、可追溯性和可用性,但缺乏合规性、隐私性和可信度,尤其是在面临监管时。如果用户相信某些数据,他们仍然需要对方的数据交叉验证。要自己交叉验证链上的数据并不容易。这是未来需要解决的问题。

用户数据从内层移动到表层

用户数量和用户行为爆发的另一个潜在结果是,当这个级别逐渐接近互联网级别时,一些传统的数据挖矿方法开始反映价值。Web3.0仍然可以提供与Web2.0类似的服务,尽管有些数据是公开的,但它们只能被一些公司访问,从而使它们能够分析和标记用户行为。一个很大的差距是用户的Web2.0和Web3.0身份不一致。例如,许多项目的用户也非常积极地参与不和谐。它们与Web3.0身份不符,这也会提供很多机会。例如,南森为大量钱包贴上标签,为数据用户提供真实的连锁行为分析,特别是那些巨鲸的活动。与南森一样,未来对用户数据的重新挖矿将把数据服务的(服务)提升到一个新的水平。例如,Delphi聚合层(如zerion、zapper和instadapp)也是一个探索用户数据的平台。共价键还提供钱包的查询功能。

价值的体现

数据的可靠性一方面是客观的,价值捕获取决于可用性(客观)和识别(主观)。这些数据变得很有价值。我们可以从这些项目的融资中看出,2021年是数据真正开始反映其价值的一年。上述项目今年已获得多次资助:

数据

Skew和zabo被coinbase直接收购,传统领域的资金也参与其中。随着多链时代的开启,数据量将呈指数级增长。多链时代对行业来说是一个考验,但对数据公司来说,它打开了宝藏之门。根据图表提供的统计数据,2020年6月,每天只有3000万次查询,2021年6月,每天的查询数量达到6.75亿次。

数据来源:https://thegraph.com/blog/20billion-queries

未来数据市场有四大驱动力:多链宇宙(包括Layer2)的形成、应用和用户的增加、应用带来的数据需求的增加(如开发、分析、交易、金融产品的使用等)以及用户行为的复杂性。但是,数据状态不会爆炸。它还将经历一次整合浪潮,类似于Gartner的发展曲线。

数据

给TA买糖
共{{data.count}}人
人已赞赏
头条资讯

全网最强卡牌链游 SkyWeaver:区块链上炉石传说

2021-8-11 11:31:05

头条资讯

深入分析AAVE Pro及其潜在影响

2021-8-11 11:46:20

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索