coinbase数据副总裁揭开区块链产业数据3.0之路

加密货币数据的复杂性给数据带来了新的机遇，即企业进入数据3.0，通过系统的智能化和自动化，实现大规模的价值创造。

作者：MichaelLi，coonbase data副总裁，

数据是企业的金矿。如果管理得当，不仅可以作为让每个人都负责任的重要工具，还可以提供清晰的信息和洞察，帮助企业大规模提高决策水平。

然而，大多数企业都陷入了数据1.0时代，只把数据业务看作是人工的、被动的服务。一些企业已经开始转向data2.0模式，即使用简单的自动化来提高团队生产力。加密货币数据的复杂性给数据带来了新的机遇，即企业可以通过系统的智能化和自动化，进入数据3.0模式，大规模创造价值。这就是数字3.0的旅程。

Coinbase既不是金融企业，也不是技术企业，而是加密货币企业。这种差异对我们处理数据的方式有重大影响。作为加密货币企业，我们处理三种重要的数据类（与传统企业不同，传统企业只处理一种或两种数据），每种类都非常复杂和不同

我们一直关注的是如何让这些不同的数据协同工作，消除数据孤岛，在问题出现之前消除问题，为CoinBase创造以前可能不存在的机会，从而实现规模和创造价值。

我曾在LinkedIn和eBay等高科技企业以及包括capital one在内的金融机构工作过。我见证了从数据1.0到数据3.0的演变。在data1.0中，数据被视为一个反应函数，它可以在紧急情况下提供临时人员服务或救援。

在data2.0中，我们使用简单的工具和第三方解决方案来自动化部分手动和重复性工作，以提高团队生产力。然而，大多数时候，数据团队仍然依赖更多的人来创造更多的价值。**，在数据3.0时代，开源和内部技术共同创造数据系统，从根本上实现价值创造的规模。

数据3.0涅盘

Data3.0的**好处是所有数据流的效率和一致性。它使企业能够建立一个全面的数据库，为企业的长期成功服务，用有限的资源满足眼前的需要。在企业规模小、变化快的情况下，这种情况可能并不明显。然而，随着企业规模的扩大和快速增长，数据流之间缺乏一致性可能成为一个巨大的痛点。如果没有及早的准备，往往很难纠正。

即使是世界上**的技术公司也可能有不同的工程团队来创建定制的数据产品和服务，以解决特定的痛点，从而形成不良习惯。这可能会在端到端数据系统的标准化工作流程中留下一个巨大的漏洞，从而难以大规模地构建和操作数据。更糟糕的是，这些一次性作业可能变得足够大，足以成为独立的系统，需要相当长的时间进行整合和迁移。这些通常是遗留系统，随着时间的推移，这些遗留系统将给公司带来沉重的技术负担。

鉴于区块链技术和数据用例的不断发展，我们的数据3.0工作还远未完成。我要说，我们对我们取得的进展感到非常自豪。下图总结了我们目前的工作和系统。

数据存储与处理

无论选择哪种技术，都必须对存储分离、计算分离和“单一事实源”的语义三个主要组成部分制定明确的策略。解耦这些组件并制定明确的技术策略可以避免随着企业的发展而出现的性能瓶颈和扩展瓶颈。

数据平台及应用

尽管我们结合使用内部技术、开源工具和供应商解决方案来满足各种需求，但我们在确定每个类别的具体解决方案时都做出了明确的权衡，因此将来不会出现重复或含糊不清的情况。我们在事件管理系统、数据编排工作流、商业智能层和实验平台上实现了这一原则。它还带来了高度解耦和可扩展的体系结构。

机器学习与平台

尽管机器学习在最近围绕人工智能的炒作中“最吸引眼球”，但它也是数据团队中**交叉功能的部分。我们真正的端到端机器学习平台Nostradamus支持CoinBase的所有机器学习模，包括数据管道、训练、部署、服务和实验。因为机器学习平台是建立在考虑数据生态系统所有其他部分的基础上的，它的目的不仅是使机器学习能够解决眼前的问题，而且随着业务的发展壮大。

数据科学与数据产品

这两个领域可能是数据团队中对最终用户最友好的部分，因为它们基本上是经过优化的数据见解的表示层，旨在满足我们的客户并为他们创造价值。他们也是上述所有措施的最直接受益者。

数据团队最重要的职责是，数据科学家应该摆脱机器，专注于使机器能够以可伸缩的方式提供数据并为消费者创造价值（而不是成为机器和数据消费者之间的中介）。