分布式存储协议或加速边缘计算技术的发展

作者：付翔

边缘计算上升

自2005年提出以来，云计算已经产生了大量可扩展的基础设施平台和中心化的云计算模。高密度计算资源的中心化和大规模IDC的部署已经成为各国信息产业基础设施建设的一部分，随着大数据、人工智能、5g、物联网等产业的蓬勃发展，云计算产业规模也将日益扩大。然而，随着各种海量数据不断在互联网的各个位置产生，网络带宽约束、处理延迟不稳定、隐私保护等问题的出现，使得中心化式云计算模式在许多场景中面临着越来越多的挑战。

随着物联网的发展，几乎所有的电子设备都可以接入互联网，这也给数据计算带来了不同的处理要求。例如，实时视频采集系统需要在短时间内对视频内容进行分析、处理和预警。如果所有的数据都传回云中心，不仅会造成中心的网络拥塞，带来海量数据的存储压力，还会造成不可预知的处理延迟和对用户体验的影响。同时，视频内容的隐私性得不到保障，在许多国家都会造成合规风险。因此，越来越多的行业应用将数据和内容的处理从中心化的云和数据中心转移到网络边缘。将传统的数据采集云中心数据消费的云计算范式转变为数据采集边缘云中心数据消费（云中心）的边缘计算范式。边缘计算是由应用程序开发人员和服务提供商在网络边缘为云服务和it环境服务而提出的。

边缘计算优势

一。快速反应：

随着芯片性能的不断提高和功耗的不断下降，以前需要大量计算的数据处理过程可以在终端中快速完成，如人脸识别、智能交通管理等领域。同时，利用位置信息及时定位事件，大大提高了数据集成和迁移的时间。同时，它降低了服务的功耗，保护了源数据的隐私，可以说是一笔多笔。

二。网络带宽优化

在未来的智能城市中，会不断产生大量的数据。如果数据是由云处理的，那么在网络拓扑中会有很多拥塞点。如果这些数据可以在数据源所在的局域网的边缘端处理。同时，利用边缘计算的特点，**限度地利用可用链接，提高数据上传和下载的速度。

3数据安全和隐私保护

对边缘端的源数据进行处理，可以有效地分离特征向量，使返回的数据和数据源脱敏，实现敏感隐私数据的可靠保护。数据存储在网络边缘，降低了数据中心化存储的风险和IDC数据维护的难度。如果结合分布式存储协议，将边缘侧划分为冗余存储，可以有效降低单点故障的概率，安全隔离用户数据。

边缘存储问题

随着芯片技术的不断发展，各种大数据和人工智能算法的不断演进，5g的部署，边缘计算的算力和网络接入能力不断提高，但存储问题并没有得到很好的解决。边缘数据需要分割，这是必然趋势。物联网产生的海量数据中，有的需要实时计算并上传特征值，有的需要分时分步计算，有的需要频繁重新计算和分析，有的需要长期保存甚至很少使用。现有的物联网设备存储主要依靠本地存储单元来存储数据，存在存储容量有限、扩展困难等问题。为此，人们提出了许多企业级的存储方案，但这些方案也存在许多问题，如不同的标准、不同的硬件方案所对应的接口方案、不同的服务提供商不能连接和处理数据等，使得大量的数据存储在孤立的“容器”中，无法在不同的存储提供者之间进行有效的扩展。而同一边缘中心的数据没有隐私保护和足够的冗余备份，相当于在商业环境中设置了一个私有的“云硬盘”**，购买的冗余存储服务无法实现价值，浪费资源。

基于分布式存储协议的边缘存储重构

为了解决上述问题，需要一种新的分布式存储协议来重构边缘存储方案，将不同存储服务的垂直扩展改为水平扩展，打破业务边界，使边缘存储成为提供统一服务的独立存储层。

一。统一完整的面向服务的上层接口，隔离存储业务的复杂性

在分布式存储协议中，需要将存储服务的加入、退出、数据确认、存储、分发、检索、支付等抽象为标准协议。这些标准不是基于特定的语言、算法和网络协议来组织业务的，只要它们符合统一接口的实现，并且基于服务方同意的业务治理逻辑，不管治理模式是区块链还是传统的中心化管理平台？只要符合协议标准，服务提供者就可以参与服务。

二。统一点对点通信协议

在存储服务层，没有预先设置的拓扑结构，端到端服务是核心。在网络协议的上层，它提供了串行化/反串行化方法、加密算法、握手系统、数据摘要算法等的组合，以隔离网络层的复杂性，使用不同语言和操作系统编写的设备能够在网络层相互识别并完成数据交互服务。

3基于数据内容授权的命名机制

命名机制是边缘计算中数据寻址、权值确定和交换的重要机制，但现有的边缘计算中还没有特别有效的处理方法。如今，大量的设备依靠不同的通信技术，如蓝牙、WiFi、5g、NFC等接入互联网。传统的以IP地址为核心的寻址方式已经不能满足异构网络间的数据交换、网络拓扑结构的动态变化、接入方式的连续切换和设备的移动性。它是目前传统的命名机制，如DNS（域名解析服务）和URI（统一域名解析服务）等资源标识符。我们需要一个完整的解决方案，这是基于数据内容的确认和设备的外部服务声明。它不再是网络地址加设备名的方式，而是基于数据的键值方式。我们使用数据生产者、时间、位置、数据属性、标识符、数据访问方法等数据描述符来表示网络中生成的数据。同时，本说明由数据生产者签字确认。

四。可编程权限控制

从数据诞生之日起，就提供了全周期的权限控制。用户可以控制数据是在边缘处理还是以加密的形式保存在存储层中。对于不同的应用，需要设置可编程的权限控制信息，使整个网络的业务治理逻辑同步。在此基础上，可以对网络中的数据交换进行控制和检查。

物联网和云计算的快速发展，推动了大数据、人工智能产业的蓬勃发展，也引入了边缘计算的计算范式。在各种网络接入方式和海量数据爆炸式增长的背景下，边缘存储也面临着巨大的挑战。长期以来，DSP实验室一直致力于分布式数据存储和共享协议的实现和迭代。虽然在实现上述分布式存储协议之前还有许多实际问题需要解决，但它也是边缘计算的一个很好的发展方向。希望未来能有更多的开发者关注这一领域，共同推动下一代网络技术的演进。

我们可以在这里找到：

脸谱网：https// www.facebook.com/DSP-Labs-110430797334480

推特：https// twitter.com/DSP实验室

微信公众号：DSPLabs