大数据爆炸时代：分布式网络的使命是什么？

比特币说到计算机数据存储，我们似乎已经没有数字了！如果你年纪大一点，你可能还记得上世纪80年代的磁盘存储是以千字节为单位的；如果你年纪小一点，你可能更熟悉以千兆字节为单位的u盘，或者你现在可以拥有千兆字节的硬盘。

在计算机数据存储方面，我们的数字似乎已经用完了！如果你年纪大一点，你可能还记得上世纪80年代的磁盘存储是以千字节为单位的；如果你年纪小一点，你可能更熟悉以千兆字节为单位的u盘，或者你现在可以拥有千兆字节的硬盘。

，但我们现在正在以前所未有的速度生成数据。我们需要掌握的数字如此之大，几乎超出了人类的理解能力。为了了解我们即将进入的新领域，请考虑以下几点：IDC，一家市场情报公司，估计到2020年，全球创造和消费的数据总量将达到59 zettabytes-59万亿GB（按旧单位计算）。

人类的大数据爆炸

然而，尽管现有数据总量几乎已达到不可估量的规模，其增长速度更是惊人。早在2012年，IBM就计算出全球90%的数据是在头两年创建的。此后，全球数据总量继续呈指数级增长，而且这种趋势似乎还在继续。事实上，IDC预测，未来三年，人类将创造比过去三十年更多的数据。

显而易见的问题是：发生了什么变化？为什么我们突然产生了比以往更多的数据？很明显，智能手机是其中的一部分。现在每个人的口袋里都有一台移动电脑，这使前几代的台式电脑相形见绌。这些机器不断地连接到互联网，即使在业余时间，它们也不断地接收和传输数据。出生于1996年至2010年间的美国Z代成年人平均每天解锁手机79次，大约每13分钟解锁一次。这些设备从未关闭的事实导致了大量新数据，每24小时有5亿条新推特、4000兆字节的Facebook帖子和650亿条新WhatsApp信息进入网络空间。

然而，智能手机只是新数据世界中最突出的部分。你可能会认为，Netflix和**等视频平台占据了全球数据的**份额，但事实上，整个消费者产生的数据份额只有50%左右，预计这一比例在未来几年会逐渐下降。剩下什么？

物联网和互联设备的兴起进一步扩大了我们的全球数据足迹。事实上，同比增长最快的是一种叫做嵌入式和生产力数据的信息。这是来自传感器、连接机器和自动生成的元数据的信息，这些元数据存在于幕后，最终用户看不见。

以自动驾驶汽车为例，它利用摄像机、声纳、激光雷达、雷达和GPS等技术对交通环境进行监控，绘制出避险路线。根据英特尔的计算，采用当前技术的自动驾驶汽车平均每天将产生4万亿兆字节的数据。从这个角度看，一辆车每天产生的数据量相当于近3000人。

一方面，这些数据将有助于最有效地安排保养区间和诊断技术问题。它也可以作为分布式系统的一部分，用于协调特定城市的交通流和最小化能源消耗。**，也许是短期内最重要的一点是，一旦发生伤害或事故，这对解决法律纠纷至关重要。

自动驾驶仪只是整个画面的一小部分。根据麦肯锡的数据，从2014年到2019年，使用物联网技术的企业比例将从13%上升到25%。据估计，到2023年，全球设备总数将达到430亿台。从工业物联网到整个智慧城市，未来经济将拥有大量互联设备，这些设备将产生潜在的高度敏感甚至关键数据。

摩尔定律结束了吗？

需要考虑两个因素，这两个因素都表明去中心化网络的效用正在增加。首先，尽管我们比以往任何时候都拥有更多的数据来应对全球挑战，例如气候变化、金融不稳定以及像covid-19这样的空气传播病毒，但我们可能正在接近一个困难的技术前沿：中央计算机可以实时处理的信息有限。尽管近年来数据量呈指数增长，但处理能力并没有以同样的速度增长。

上世纪60年代，英特尔联合创始人戈登·摩尔（Gordon Moore）提出了摩尔定律，该定律指出，随着微芯片上的晶体管数量每两年翻一番，算力将以相应的速度增长。但摩尔自己也承认，这不是一个科学定律；更像是一个简短的统计观察。2010年，他承认，随着晶体管现在接近原子尺寸，计算机处理能力将在未来几十年达到严格的技术极限。之后，可以向处理器中添加更多的核心组件以提高速度，但这将增加设备的大小、成本和功耗。因此，为了避免瓶颈，我们需要找到新的方法来监控和响应数据。

第二个要考虑的因素是网络安全。在一个日益互联的世界里，数以百万计的新设备正在接入互联网。它们提供的数据可能会影响电网控制、医疗保健管理和交通管理。因此，边缘安全（驻留在网络核心之外的数据的安全）变得至关重要。这对网络安全专家来说是一个复杂的挑战，因为许多不同的设备和协议组合为入侵提供了新的攻击面和机会。

向自然网络学习

如果中心化处理对于未来数据丰富的经济体来说过于缓慢和不安全，那么还有什么替代方案？一些专家一直在大自然中寻找灵感。他们认为，我们应该从自上而下的监测和应对数据的模式转变为自下而上的模式。以蚁群为例，虽然每只蚂蚁的智力都相对适中，但一般来说，蚁群都试图建立和维护复杂的动态觅食路径网络，连接多个巢穴和瞬时食物源。它们通过遵循简单的行为和对局部刺激的反应来实现这一点，比如其他蚂蚁的信息素踪迹。然而，随着时间的推移，进化探索了个体层面的本能和行为，在宏观层面形成了一个非常有效和强大的系统。如果一条路径被风或雨破坏，蚂蚁会找到一条新的路径，甚至没有一只蚂蚁知道维护网络的总体目标。

如果我们用同样的逻辑来组织计算机网络呢？与蚁群算法类似，在区块链网络中，多个具有中等处理能力的节点可以结合在一起，产生比其各部分之和更大的全局结果。正如本能和行为在本质上是至关重要的一样，控制节点如何交互的规则在决定网络在宏观层面上的成功程度上也是至关重要的。

大自然需要几千年的时间来调整每个参与者的动机，形成一个互利的网络。因此，对于去中心化网络的设计者来说也是一个困难的挑战。然而，动物基因突变在本质上是随机的。我们有一个优势，我们可以有目的地模拟和设计激励机制，以实现共同的总体目标。

通过这种精心设计的激励结构，分布式网络可以大大提高边缘安全性。正如蚁群路由网络可以继续工作，即使蚂蚁丢失或死亡，去中心化网络也是强大的。即使单个节点崩溃或离线，网络也能保持其完整的功能。另外，在整个网络中，没有节点需要处理或理解所有的数据。一些研究人员认为，通过这种方式，我们可以建立一种经济激励结构，以分布式方式自动检测和应对共同的挑战。

结论

人类产生的数据总量呈爆炸式增长，利用中央计算机网络监测和响应数据的能力已接近极限。因此，去中心化的网络是唯一适合未来挑战的网络。大量的研究、测试和实验尚未完成，但区块链的基本生命力和底层技术的实用性已经被证明。随着人类走向一个数据丰富、超级互联的世界，分布式网络在实现经济和社会效益**化方面发挥着重要作用。