跟着大模子期间的演进逐步放缓,与其简洁关系的新期间栈正步入家具化的要道阶段,而非只是停留在小边界进修层面。行业表里大批关切大模子的策画需求,然而存储需求却频频被冷漠。当今,传统存储阵列在GPU集群眼前已暴暴露性能瓶颈和扩展性不及的问题,业界大批以为,存储行业正濒临的不是渐进式的期间升级开yun体育网,而是需要架构级的全面重构。
大模子西宾对存储系统的带宽与并发才调建议了极限条款,而在推理阶段,多模态数据则濒临着孤岛化的窘境。企业关于中枢数据安全的担忧日益加重,加之旧有架构在GPU+全闪存期间下的“硬件不适配症”,传统存储的短板在AI期间的放大镜下愈发明显。
在外洋市集上,AI存储边界已涌现出独角兽企业,其“融合存储层+AI原生接口”的格式得回了市集的昔日招供。在此配景下,中国存储厂商ExponTech也推出了自主研发的WADP平台,旨在通过一套架构融合经管分娩与AI数据流。
传统存储阵列为何会成为瓶颈?ExponTech首创东说念主曹羽中证实说念,在传统信息化期间,尽管出现了诸多存储新期间,但这些期间并未从根柢上调动市集形势,传统存储阵列如故主流决议,企业投资也依然赓续于此。然而,跟着AI期间的到来,存储边界将迎来紧要变革,访佛于策画边界从CPU中心向GPU中心的转型。
具体而言,存储需求将呈现四大中枢变化:领先,大模子西宾驱动的超高性能需求,条款存储系统提供超高带宽与高并发才调,以支握多卡并行西宾,确保GPU卡讹诈率最大化。其次,推理期间的服从优化成为要道,企业需要优化推理服从,处置策画资源与存储资源的协同问题。这包括多模态数据的融合经管,幸免数据孤岛,以及哀悼握久化与以存代算,减少重叠运算,增强AI模子的哀悼才调。
第三,数据可控与安全成为企业关切的焦点。企业不肯将中枢数据交给内行大模子,且受限于数据秘籍条款,这些数据难以径直移动至公有云。因此,构建数据中心级融合数据层并延长细粒度权限管控成为势必采选。临了,传统架构的局限性日益突显,其孤岛式假想、存储软件架构老化以及对新一代硬件适配不及等问题,使得传统存储阵列难以有用支握GPU+全闪存+RDMA网罗等新硬件环境。
曹羽中指出,理思的AI期间存储系统应具备以下特色:融合存储引擎,基于通用硬件,达成超高性能与无穷扩展性,承载全量企业数据;双制度接口体系,既兼容传统接口,又创新AI原生接口;支握经由数据与高下文数据的存储和经管,优化决策旅途。AI融合数据平台的趋势从好意思国到中国正在兴起。
近日,ExponTech负责发布了新一代融合AI数据平台WADP(WiDE AI Data Platform),旨在处置企业AI应用的核肉痛点——高效交融存储与经管海量多源数据,达成AI算力与数据存力的无缝协同。WADP基于全自研的踱步式存储引擎与踱步式KV元数据引擎构建,出手于圭表奇迹器硬件,昔日适配万般通用硬件。
WADP初度将企业中枢分娩系统(如要道数据库)与AI数据管说念(西宾、推理、向量检索等)融合承载于并吞平台,达成对传统存储阵列、文献系统及大数据存储的当代化交融替代,为企业构建面向畴昔的AI数据基础要领。这一趋势已在好意思国市集得到昔日考证,而ExponTech的期间旅途和家具达成与国际市集AI基础要领的期间趋势一辞同轨。
据悉,ExponTech坚握中枢代码全栈自研开yun体育网,不依赖国外开源期间。其新一代踱步式存储引擎与元数据引擎得手突破多项期间岑岭,WADP存储软件在面向企业中枢业务场景的SPC-1评测中冲破宇宙记录,又在面向AI场景的MLPerf Storage v2.0评测中取得优异恶果,充分考证了使用并吞套踱步式存储软件构建Universal Storage的期间可行性,为打法AI期间海量数据挑战奠定了坚实基础。