文 | 智能相对论
作家 | 陈泊丞
AI产业链各个中枢因素的“含金量”还在不休进步,其中存储的价值就在强势增长。
日前,MLCommons协会发布最新MLPerf™ Storage v1.0 AI存储基准测试收货。波浪信息分散式存储平台AS13000G7弘扬出众,在3D-UNet和CosmoFlow两个模子统统8项测试中,斩获5项性能全球第一。
且不说原土厂商见效“打榜”的事情,光是MLPerf™ Storage v1.0 AI存储基准测试收货的发布就开释出不少重磅信息。
MLPerf™是影响力最广的外洋AI性能基准评测,由图灵奖得主大卫·帕特森(David Patterson)麇集谷歌、斯坦福大学、哈佛大学等顶尖学术机构共同发起,2023年头度推出存储基准性能测试。这是全球首个且独一的AI/ML存储基准测试,旨在通过准确建模ML使命负载所产生的I/O模式来匡助处治存算均衡问题,为ML/AI模子开发者选择存储处治决策提供泰斗的参考依据。
现阶段,跟着AI产业走向深实,市集既疼爱存储,也对存储处治决策提倡了新的工夫需求。以本年MLPerf™ Storage v1.0的评测圭臬来看,区别客岁的v0.5版块,v1.0版块作念了诸多工夫关连的调理,一方面更属目存储带宽的峰值承载智商,要点考试在喜跃高性能GPU一定哄骗率的前提下,存储系统梗概为AI集群提供的总带宽和每节点带宽。另一方面则是强化了分散式老师,要点蔼然每存储节点能支捏的GPU数目,从而评估用户的AI存储投资陈诉。
总的来说,在全球领域内,存储比畴昔更属目与AI产业的衔尾与协同,“存力”在AI场景中的价值凸显。而以波浪信息为代表的原土厂商在这次评测中脱颖而出,也确认了中国AI行业的风向相通如斯——市集对存储的疼爱和翻新正在加速中国AI的发展进度,让正本就属目应用落地的中国AI产业具备了更完备的中枢因素。
AI狂飙,存算协同
今天,东说念主工智能向千行百业浸透,大数据、大模子的接踵迸发不休加速智能时期的到来。随之而来的还有万卡算力集群、万亿参数范畴的大模子老师。在这个过程中,市集对算力的蔼然捏续高涨,各大AI厂商重要追求的莫过于高效的算力资源。
关联词,在算力以外,以存储处治决策为代表的存力也相通潜入地影响着AI产业的发展。存力不仅要提供填塞的存储容量,还需要保证高效的数据走访智商。因此,要是存力不及,即就是领有高性能的打算资源(算力),也无法高效地完成模子老师任务,例必会酿成算力花消。
存力与算力相反相成,两者之间的均衡至关勤苦,不可偏废,极地面影响着大模子老师的恶果以及AI产业发展的命根子。具体来看,现如今模子老师的数据加载、模子老师过程中的断点续训要尽可能地缩短对打算时期的占用,那么存储就不可“掉链子”,例必要提供高效、稳固的处治决策给予支捏。
波浪信息存储家具线副总司理刘希猛在与「智能相对论」交流中提到,“跟着算力范畴达到千卡万卡范畴的时候,其实它对存储的性能条款,走访带宽达到了TB级。在一些小模子的老师当中,对时延的条款更高,存储系统需要提供百万级的IOPS的条款。”
算力的升级带动着存力的进阶,现阶段AI思要跑起来,算力是要害,存力也同等勤苦。跟着AI产业发展所线路出来的诸多场景问题越来越深入,对存储提倡的新条款也愈加具体——岂论是以MLCommons协会为代表的行业机构,如故以波浪信息为代表的行业厂商,齐在起劲于探索更强硬、高效并合乎AI场景需求的存储处治决策,以让存力跑在前边,协同算力升级,支捏AI产业加速发展。
当AI献技“驰骋东说念主生”
事实上,新的存储处治决策之是以备受疼爱,其背后意味着统统这个词行业对AI系统性领会越来越训练。
今天的AI如并吞辆高速行驶的汽车,献技着智能时期的“驰骋东说念主生”,而这辆汽车能提速的要害则在于汽车内各个中枢因素或子系统的共同驱动。具体来看,数据特别于“燃料”,澌灭充分进而驱动“能源系统”使命,让汽车加速动起来。算力的哄骗程度则决定了“能源系统”使命的恶果,进而影响汽车快慢——这是算力的价值处所。
而存力的价值在哪?在“燃料”与“能源系统”之间,两者奈何碰撞出火花,则取决于以油箱、输油泵、燃油轨等中枢零部件构成的“燃料供给系统”。在AI产业链中,存储就特别于“燃料供给系统”,而存力的恶果径直影响着“燃料”与“能源系统”(算力)之间的滚动,就如同汽车系统中油箱是否够大、输油泵是否过劲、燃油轨是否运动等问题,径直决定了汽车的燃料供给情况,影响着汽车的能源大小。
这是一个特别齐备的系统,在这个“系统”中,也就是AI场景下,存力所濒临的具体需求也将透澈不同于传统存储,具体呈目下性能、恶果以及韧性三大层面。
一、性能:大存力时期到来,协同大数据、大模子、大算力强势驱动AI产业高速发展。
岂论是单独拎出算力与存力的关系来看,或是聚焦AI的系统性领会,齐不错看到现阶段存储处于一个“牵一发而动全身”的位置,如同汽车里“燃油供给系统”和“能源系统”之间的关系,存力的大小决定着算力的恶果,进而影响AI的发展。
因此,当AI产业高速发展,干与大数据、大模子、大算力线路的时期,市时势需要的相通是大存力。基于这个趋势,业内正在不休去进步带宽、IOPS,缩短时延等,通过这些优化径直提高存力的恶果。
其中,基于自研的分散式软件栈上风,波浪信息就在采纳全新的数控隔离架构,通过将I/O的限度面和数据面解耦合,达成了分散式一致性等复杂的限度面与数据流纵贯数据面隔离处理架构,处治了分散式存储数据流在节点间流转的转提问题,减少东西向(节点间)数据转发量80%。在本次MLPerf测试中,波浪信息存储达到120 GB/s的单存储节点的超高性能——如斯优异的单节点性能应用到骨子AI场景中,将不错为企业客户省俭普遍的存储本钱,从而以更高的性价比让AI充分跑起来。
二、恶果:存储与AI产业链主动耦合,其价值定位愈发强调“以大局为重”。
关于存力“牵一发而动全身”的价值定位,波浪信息分散式存储家具部副总司理放心文向「智能相对论」提供了更具体的理解视角。他以大模子的训推落地例如,以数据为第一视角评释了在不同的阶段,存储齐将濒临着毫不换取的使命任务。对比传统的存储,现阶段的存储需要达成以存促算、以存强算的见识,从被迫到主动、从隔离到耦合,最终概括加速大模子老师的恶果。
不难会通,存储正积极融入AI产业链中,其恶果进步不仅仅蔼然自己,更在于奈何全局性地、衔接性地鼓吹统统这个词大模子老师以致是AI产业的加速发展。这种从单节点到全体性的进阶,则需要存储协同好AI场景中各式问题,属目进步全体恶果,就像在汽车系统中,驻车后再运转,“燃料供给系统”需要实时地提供“燃料”给“能源系统”以确保汽车能衔接地行驶。
在这方面,以波浪信息为代表的原土厂商辩论到骨子落地的场景问题,正通过存储支捏文献、对象、大数据等非结构化合同会通互通,全局定名空间等步地,从而减少多份数据重叠存储,以及数据跨合同、跨区域、跨系统调理检索的经管问题,进步存储的全局恶果。
三、韧性:存储的地位不休进步,行业翻新高度聚焦存力的安全可靠体系树立。
畴昔,人人对存储的领会可能仅仅一个U盘,细密存储贵寓的载体,可是当存储融入AI产业链,其定位在变化,价值在提高,相应的所承担的连累也在增强。存储出了问题,将影响统统这个词大模子训推落地历程,就如同“燃料供给系统”故障了,统统这个词车子齐将无法行驶。因此,存储的安全可靠也同步受到市集更大的蔼然,唯有有韧性的存储处治决策才气适合现阶段以及畴昔高强度、高价值的AI产业发展。
那么,存储的“韧性”应该奈何进步?波浪信息从传统中医表面动手联想保险存储安全可靠的体系,正所谓“上医治未病,中医治欲病,下医治已病”,一方面从网罗安全、开采安全、系统安全、经管安全、数据安全多维度构建了存储安全体系,另一方面则是采纳可靠性主动经管工夫,达成有储亚健康经管,对硬件、网罗、系统等进行亚健康检测,确保系统故障不错快速规复。此外,通过AIOps算法达成容量趋势、性能趋势、SSD寿命、HDD和SDD硬盘故障的精确瞻望,退缩于未然,喜跃客户AI业务衔接性需求。
结语
现如今,AI历经多年发展,还是成长为一个大产业。在这条浩荡的产业链之上,中枢因素也在不休趋于“大”发展,数据量激增迎来大数据时期,紧随而来的还有大模子、大算力。越来越“大”的发展,让各大中枢因素之间愈发协同,存储干与大存力时期,也与大数据、大模子、大算力之间的不竭愈加良好。
在这个节点上,行业泰斗机构始创基准评测,为市集提供参考圭臬。以波浪信息为代表的原土厂商不休以优质的家具和处治决策强势打榜,由此可见,不光是存储的含金量在进步,原土AI的专科处治决策也在崛起。
只须以数据、算力为代表的中枢因素关连处治决策捏续强化,中国AI产业终将“狂飙”起来,献技原土化的“驰骋东说念主生”。
*本文图片均开头于网罗