当前位置:首页区块链从希捷帮助filecoin看存储集群的设计

从希捷帮助filecoin看存储集群的设计

8月22日至23日,“共享新机遇——2020全球区块链算力大会暨新基础设施挖矿峰会”在成都举行。会议在成都市新经济委员会、成都市科技局、成都市成华区人民政府的指导下,由成都市成华区新经济技术局、成都市成华区投资促进局、巴比特、链节点、银比特等主办。

随着filecoin在线测试线的临近,存储轨道备受关注,围绕filecoin挖矿的上下游产业链也提前布局。希捷是全球最大的硬盘、磁盘和读写磁头Maker,也是硬盘挖矿磁道的主要品牌。峰会上,希捷科技股份有限公司高级解决方案工程师李震分享了“分布式数据存储基石,硬盘点亮数据价值”的主题。

以下是巴比特发表的演讲摘要。

很荣幸有机会与您分享希捷对分布式系统及其产品进展的看法。在参与IPFs项目的过程中,您可能会或多或少地与希捷接触。我们也是唯一参加这次会议的部件供应商。

从希捷帮助filecoin看存储集群的设计

希捷是一家非常传统的Maker。机械硬盘是40年前发明的。当时,一块硬盘的容量只有500万块,而手机的存储容量已经达到了GB的水平,128G甚至更高。经过40年的发展,希捷的年营业额已超过100亿美元。去年,希捷交付了355个EB,雇佣了40000多名员工。其主要生产工厂在泰国和无锡。

市场前景

从希捷帮助filecoin看存储集群的设计1

在分享时,许多参与者反复强调数据对人们生活的影响。从增量上看,2002年以前共生成23个EB数据,而今年每5个小时可以生成23个EB数据。现在是数据爆炸式增长的时代。

从希捷帮助filecoin看存储集群的设计2

分布式存储应运而生。事实上,分布式文件系统已经存在很长一段时间了,银行在20年前就开始大规模地使用它们。还有P2P网络,我们应该用BT下载,这不是一个新概念。然而,时代给了我们新的应用场景。现在我们正面临一个新的时代,每年产生的数据高达175zb。我们需要考虑如何保存这些数据以及如何挖矿其价值。

储存在地下的石油对我们来说无关紧要,数据也是如此。只有当我们能够访问和处理数据时,数据本身才是有价值的。像IPFs这样的存储项目的优势在于,我们可以保存范围更广、层次更深的数据,即使我们不知道这些数据今天可能产生什么价值。

从希捷帮助filecoin看存储集群的设计3

数据从哪些维度影响生命?一种是智能联网车辆,它是智能的,因为系统通过各种传感器(包括毫米波雷达、激光雷达和摄像机)分析采集到的数据,并赋予它更多的智能特性。每辆车一天运行的数据量在1PB以上;二是在工厂应用大数据,传统制造业的效率可以提高70%;三是通过数据分析,实现智能城市互联,提高安全性、公用事业利用率和交通管理效率。我经常举个例子。如果一个记者不戴帽子或口罩就被扔到北京街头,通过智能摄像头甚至不需要5分钟就可以找到记者。

新技术的登陆

对于希捷来说,硬盘在经历了40年的发展之后,仍有许多创新之处。今年机械硬盘容量18吨,明年20吨,明年24吨。为了使硬盘能适应35%左右的年增长率,需要利用激光热辅助技术对硬盘上的某一点进行加热,并在产生避雷针效应后将数据写入硬盘。通过这项技术,硬盘容量的年增长率可达35%,预计2025年硬盘容量将达到50tb。

固态硬盘的发展也非常迅速,这符合82定律的特点。我们知道存储中80%的数据不经常被访问,这就是为什么数据中心中超过75%的数据存储在机械硬盘上。IPFs是一个主要存储冷数据的网络。冷数据存储正是机械硬盘的特点。

还有很多数据类,比如热数据、超热数据、冷数据、冰数据,今天的讨论不涉及这些数据类。热辅助技术已经发展了20多年,那一年有很多故事。你知道,在华尔街,我们需要给投资银行家讲故事。固态硬盘问世后,许多分析人士认为机械硬盘已经没有前途。当时,希捷向华尔街展示了热辅助技术。该传感器使用金,一种200纳米大小的黄金。经激光反复加热后,金可能熔化,分布时间不均匀。换句话说,机械硬盘不知道什么时候会出故障。

从希捷帮助filecoin看存储集群的设计4

经过20年的研发,每个机械硬盘写入的数据量超过4PB,远高于企业硬盘550TB/年,平均故障率可控制在0.4%。这是热辅助硬盘的特点之一。磁头上有一个亮点,那是一台功率约为0.0毫瓦的激光发生器。当激光击中光盘时,数据可以写入。

从希捷帮助filecoin看存储集群的设计5

双磁臂是指两个磁臂同时使用,性能可以翻倍。我们可以理解为将两个机械硬盘制成一个磁盘体。

产品组合

从希捷帮助filecoin看存储集群的设计6

让我们向您展示希捷的产品组合。就光盘而言,有硬盘驱动器,这是您在storage miner上使用的规格。还有固态硬盘,它覆盖了我们使用的各种接口。

你听说过近内存计算的概念吗?国内外很多厂家都在这方面做研究。数据中心从中心化式结构向分布式结构转变后,每个节点之间会有大量的东西向数据流。对于网络来说,这是一个巨大的成本。”“近存储计算”阶段是在SSD上构建一个计算引擎。HDFS也是一种分布式存储系统,需要对数据进行压缩。如果在SSD中内置一个引擎,就不需要绑定CPU和购买这样的硬件,效率会大大提高。这是大人物需要考虑的问题。它不会在这里发射。

从希捷帮助filecoin看存储集群的设计7

对希捷来说,当前的策略是模块化。我们都知道希捷是磁盘Maker。在收购了多家Maker后,希捷还拥有制造机架和控制器模块的能力。就像构建乐高积木一样,你可以选择不同的积木,而希捷也有相同的策略。根据冷数据或热数据的要求和机器定制的数据处理方式,采用不同的磁盘、不同的机架和不同的控制器模块来实现所需的产品形态。

关于IPFs存储的思考

为了分享我对IPFs存储的个人想法,我注意到今天参与活动的规格非常不同。对希捷来说,从P1到C2的过程不是我们关心的阶段。目前,有许多矿机具有所谓的紧耦合结构,即将上述各阶段放在一个盒子里。

从希捷帮助filecoin看存储集群的设计8

如果我们想在法律阶段厘清这个东西的产权,这是一个很好的解决办法。然而,从大规模集群的角度来看,这种形式会带来很大的问题。P1需要绑定AMD CPU,但供电能力不足。如果所有的东西都在一个盒子里,就没有办法实现弹性膨胀。要么先耗尽存储空间,要么先耗尽算力。与分布式体系结构相反,没有单独扩展资源的方法。

从希捷帮助filecoin看存储集群的设计9

对每个阶段进行解耦。从各云服务厂商可以看到,面对不同的存储场景,热数据、冷数据和ice数据都有相应的存储解决方案。IPFs无法避免这一点,即必须将其解耦。这样做的好处是每个阶段都可以单独扩展以提高硬件利用率。目前,专用硬件的购买量不需要这么大,而且在线节奏可以大大加快。

IPFs本身没有数据的高可用性机制。在大存储集群中,不可避免地要确保数据在24小时时空证明阶段是在线的。我可以看到有些挖矿机有单向供电。在高存储集群密度的情况下,任何掉线节点的数据丢失都是非常大的,并且无法在25秒内返回结果。处罚可能会超过挖矿收入。

我做企业十多年了,我知道这是多么的困难。例如,如果使用10t磁盘进行数据重建,则需要50多个小时。在此期间,如果磁盘再次被删除,整个逻辑卷将失去访问权限。如果我们使用我们的RBOD,我们可以在RBOD上做好数据保护,然后通过以太网或SAS电缆将其映射到主机。在RBOD上管理高可用性。对于用户来说,它可以在这方面减少很多痛苦。如果你在前面不想太多,当你做后面的挖矿池时,你会遇到很多痛苦的惩罚。

从希捷帮助filecoin看存储集群的设计10

我建议在存储方面,一是尽量使用大容量硬盘,二是把高可用性机制卸给存储设备厂商。此时,RBOD的形态比JBOD好,因为Seagate有自己的擦除芯片。

今天关于希捷产品和IPFs的思考和分享这么多,谢谢。

温馨提示:

文章标题:从希捷帮助filecoin看存储集群的设计

文章链接:https://www.btchangqing.cn/92068.html

更新时间:2020年08月26日

本站大部分内容均收集于网络,若内容若侵犯到您的权益,请联系我们,我们将第一时间处理。

从希捷帮助filecoin看存储集群的设计11
区块链

比特币恶搞情绪创三年来新高,又是一个看涨迹象?

2020-8-26 13:10:59

区块链

下半年的财富密码在哪里?行业领袖告诉你

2020-8-26 13:27:25

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索