从希捷帮助filecoin看存储集群的设计

8月22日至23日，“共享新机遇——2020全球区块链算力大会暨新基础设施挖矿峰会”在成都举行。会议在成都市新经济委员会、成都市科技局、成都市成华区人民政府的指导下，由成都市成华区新经济技术局、成都市成华区投资促进局、巴比特、链节点、银比特等主办。

随着filecoin在线测试线的临近，存储轨道备受关注，围绕filecoin挖矿的上下游产业链也提前布局。希捷是全球**的硬盘、磁盘和读写磁头Maker，也是硬盘挖矿磁道的主要品牌。峰会上，希捷科技股份有限公司**解决方案工程师李震分享了“分布式数据存储基石，硬盘点亮数据价值”的主题。

以下是巴比特发表的演讲摘要。

很荣幸有机会与您分享希捷对分布式系统及其产品进展的看法。在参与IPFs项目的过程中，您可能会或多或少地与希捷接触。我们也是唯一参加这次会议的部件供应商。

希捷是一家非常传统的Maker。机械硬盘是40年前发明的。当时，一块硬盘的容量只有500万块，而手机的存储容量已经达到了GB的水平，128G甚至更高。经过40年的发展，希捷的年营业额已超过100亿美元。去年，希捷交付了355个EB，雇佣了40000多名员工。其主要生产工厂在泰国和无锡。

市场前景

在分享时，许多参与者反复强调数据对人们生活的影响。从增量上看，2002年以前共生成23个EB数据，而今年每5个小时可以生成23个EB数据。现在是数据爆炸式增长的时代。

分布式存储应运而生。事实上，分布式文件系统已经存在很长一段时间了，银行在20年前就开始大规模地使用它们。还有P2P网络，我们应该用BT下载，这不是一个新概念。然而，时代给了我们新的应用场景。现在我们正面临一个新的时代，每年产生的数据高达175zb。我们需要考虑如何保存这些数据以及如何挖矿其价值。

储存在地下的石油对我们来说无关紧要，数据也是如此。只有当我们能够访问和处理数据时，数据本身才是有价值的。像IPFs这样的存储项目的优势在于，我们可以保存范围更广、层次更深的数据，即使我们不知道这些数据今天可能产生什么价值。

数据从哪些维度影响生命？一种是智能联网车辆，它是智能的，因为系统通过各种传感器（包括毫米波雷达、激光雷达和摄像机）分析采集到的数据，并赋予它更多的智能特性。每辆车一天运行的数据量在1PB以上；二是在工厂应用大数据，传统制造业的效率可以提高70%；三是通过数据分析，实现智能城市互联，提高安全性、公用事业利用率和交通管理效率。我经常举个例子。如果一个记者不戴帽子或口罩就被扔到北京街头，通过智能摄像头甚至不需要5分钟就可以找到记者。

新技术的登陆

对于希捷来说，硬盘在经历了40年的发展之后，仍有许多创新之处。今年机械硬盘容量18吨，明年20吨，明年24吨。为了使硬盘能适应35%左右的年增长率，需要利用激光热辅助技术对硬盘上的某一点进行加热，并在产生避雷针效应后将数据写入硬盘。通过这项技术，硬盘容量的年增长率可达35%，预计2025年硬盘容量将达到50tb。

固态硬盘的发展也非常迅速，这符合82定律的特点。我们知道存储中80%的数据不经常被访问，这就是为什么数据中心中超过75%的数据存储在机械硬盘上。IPFs是一个主要存储冷数据的网络。冷数据存储正是机械硬盘的特点。

还有很多数据类，比如热数据、超热数据、冷数据、冰数据，今天的讨论不涉及这些数据类。热辅助技术已经发展了20多年，那一年有很多故事。你知道，在华尔街，我们需要给投资银行家讲故事。固态硬盘问世后，许多分析人士认为机械硬盘已经没有前途。当时，希捷向华尔街展示了热辅助技术。该传感器使用金，一种200纳米大小的黄金。经激光反复加热后，金可能熔化，分布时间不均匀。换句话说，机械硬盘不知道什么时候会出故障。

经过20年的研发，每个机械硬盘写入的数据量超过4PB，远高于企业硬盘550TB/年，平均故障率可控制在0.4%。这是热辅助硬盘的特点之一。磁头上有一个亮点，那是一台功率约为0.0毫瓦的激光发生器。当激光击中光盘时，数据可以写入。

双磁臂是指两个磁臂同时使用，性能可以翻倍。我们可以理解为将两个机械硬盘制成一个磁盘体。

产品组合

让我们向您展示希捷的产品组合。就光盘而言，有硬盘驱动器，这是您在storage miner上使用的规格。还有固态硬盘，它覆盖了我们使用的各种接口。

你听说过近内存计算的概念吗？国内外很多厂家都在这方面做研究。数据中心从中心化式结构向分布式结构转变后，每个节点之间会有大量的东西向数据流。对于网络来说，这是一个巨大的成本。”“近存储计算”阶段是在SSD上构建一个计算引擎。HDFS也是一种分布式存储系统，需要对数据进行压缩。如果在SSD中内置一个引擎，就不需要绑定CPU和购买这样的硬件，效率会大大提高。这是大人物需要考虑的问题。它不会在这里发射。

对希捷来说，当前的策略是模块化。我们都知道希捷是磁盘Maker。在收购了多家Maker后，希捷还拥有制造机架和控制器模块的能力。就像构建乐高积木一样，你可以选择不同的积木，而希捷也有相同的策略。根据冷数据或热数据的要求和机器定制的数据处理方式，采用不同的磁盘、不同的机架和不同的控制器模块来实现所需的产品形态。

关于IPFs存储的思考

为了分享我对IPFs存储的个人想法，我注意到今天参与活动的规格非常不同。对希捷来说，从P1到C2的过程不是我们关心的阶段。目前，有许多矿机具有所谓的紧耦合结构，即将上述各阶段放在一个盒子里。

如果我们想在法律阶段厘清这个东西的产权，这是一个很好的解决办法。然而，从大规模集群的角度来看，这种形式会带来很大的问题。P1需要绑定AMD CPU，但供电能力不足。如果所有的东西都在一个盒子里，就没有办法实现弹性膨胀。要么先耗尽存储空间，要么先耗尽算力。与分布式体系结构相反，没有单独扩展资源的方法。

对每个阶段进行解耦。从各云服务厂商可以看到，面对不同的存储场景，热数据、冷数据和ice数据都有相应的存储解决方案。IPFs无法避免这一点，即必须将其解耦。这样做的好处是每个阶段都可以单独扩展以提高硬件利用率。目前，专用硬件的购买量不需要这么大，而且在线节奏可以大大加快。

IPFs本身没有数据的高可用性机制。在大存储集群中，不可避免地要确保数据在24小时时空证明阶段是在线的。我可以看到有些挖矿机有单向供电。在高存储集群密度的情况下，任何掉线节点的数据丢失都是非常大的，并且无法在25秒内返回结果。处罚可能会超过挖矿收入。

我做企业十多年了，我知道这是多么的困难。例如，如果使用10t磁盘进行数据重建，则需要50多个小时。在此期间，如果磁盘再次被删除，整个逻辑卷将失去访问权限。如果我们使用我们的RBOD，我们可以在RBOD上做好数据保护，然后通过以太网或SAS电缆将其映射到主机。在RBOD上管理高可用性。对于用户来说，它可以在这方面减少很多痛苦。如果你在前面不想太多，当你做后面的挖矿池时，你会遇到很多痛苦的惩罚。

我建议在存储方面，一是尽量使用大容量硬盘，二是把高可用性机制卸给存储设备厂商。此时，RBOD的形态比JBOD好，因为Seagate有自己的擦除芯片。

今天关于希捷产品和IPFs的思考和分享这么多，谢谢。