随着人工智能技术的迅猛发展,企业软件应用程序中融入自主性AI的比例预计将大幅提升。根据Gartner的预测,到2028年,这一比例将从目前的不到1%跃升至33%。同时,30%的企业机构计划将数据变现或数据入表纳入其数据战略,突显了数据在当今企业运营中的核心地位。生成式AI应用的不断涌现,也进一步推动了数据量的激增,对存储行业提出了新的挑战和机遇。
人工智能的发展离不开算力、算法和数据这三大支柱。尽管算力的需求和算法的优化至关重要,但高质量的数据集已成为当前人工智能发展的迫切需求。这一趋势促使数据中心逐渐从以“人”为中心和以“服务器”为中心,转向以“数据”为中心的新时代。
在存储行业,这一变革尤为显著。IDC产业目前大致分为算力、运力和存力三个部分。中国信息通信研究院院长余晓晖在中国算力大会上指出,中国存力规模在过去一年中持续增长,截至2023年底已达到约1200EB,同比增加20%,先进存储容量占比也提升了20%。这反映了存储行业在应对数据洪流时的积极应对和快速发展。
中国电子技术标准化研究院发布的《AIGC数据存储研究报告》强调,AIGC技术进一步凸显了“以数据为中心”的趋势,数据的按需流动和存储成为支撑这一技术变革的关键。浪潮信息存储首席架构师孙斌认为,随着AI应用的深入发展和数据要素市场化进程的推进,数据的重要性日益凸显,存储行业需要满足越来越多的近数据计算需求,同时提升数据调用的速度。
当前,存储行业面临的挑战不仅仅是解决数据存储问题,还需要具备并行存储能力,解决数据流动问题,并提升数据访问效率。随着大模型应用的落地,企业内部和社会公共数据量呈现几何倍数增长,如何高效存储和节约存储空间成为企业降本增效的重要议题。
在AIGC场景下,存储系统需要面对性能、效率和韧性方面的挑战,存储底座需要具备“六维”协同能力,包括数据流动、处理、共享、容纳、安全和管理六种能力,以满足AIGC对存储的复杂需求。这一需求推动了存储架构的变革,存储系统不再是单纯的数据存储容器,而是成为推动AI发展的核心组件。
为了提高GPU的利用效率,存储系统需要提供TB级的高带宽和百万级的高IOPS,以确保模型训练的高效运行。同时,数据中心内部需要一套全新的存储架构,支撑混合负载,并通过统一系统实现数据全生命周期的应用。孙斌指出,解决数据流动问题需要全新的存储架构来支撑。
以清华大学的生命科学研究项目为例,该项目需要实时在线存储,不能丢帧,对存储系统的要求极高。RUSH脑成像系统产生的海量小文件和长时间稳定写入的需求,也对存储系统带来了严峻挑战。随着AIGC走进高校,成为研究课题,存储系统也需要满足师生对高效数据调取的需求,避免资源浪费和科研成本上升。
面对这些挑战,存储行业需要解决如何在更小的空间内存储更多数据的问题。一方面,通过优化存储系统提高空间利用率,利用AI技术在缓存方面进行智能调整。另一方面,新的存储介质如QLC和SSD等也在不断发展,进一步优化容量和成本,使SSD在数据中心中的应用更加广泛。浪潮信息认为,在混合负载场景中,闪存正在逐渐成为重要支撑手段。
基于此,浪潮信息存储提出了可组合分布式融合存储(CDFS)的新模式,打造了三层三面两体的可组合架构。这一架构通过数据编织层、微服务化功能层和硬件资源层,以及控制面、数据面和智能面的协同,实现了存储资源的协同处理和按需分配。同时,CDFS还根据不同场景细分为机柜级存储底座(BoR)和数据中心级存储底座(BOD),满足了数据中心的两极化发展需求。
BoR适用于边缘化、规模小的企业侧应用,如数据空间应用场景,通过定制化闪存模组和领域专用硬件节点,实现了高效、低成本的近数据计算。而BOD则适用于通用大模型训练、调优等场景,需要跨云、跨系统、跨地域的协同计算能力,通过分布式融合架构和智能数据管理平台,实现了存储资源的统一管理和高效利用。