戴尔AI工作站实测:性能与成本双赢,企业大模型部署新选择?

   发布时间:2024-10-12 17:06 作者:钟景轩

随着大模型技术的日益成熟,越来越多的企业开始考虑将其应用于生产环境。然而,高昂的访问费用和数据中心资源紧张的问题,使得大模型的本地化部署成为了一个热门话题。近日,我们针对大模型本地化部署进行了一系列测试,探索了其在企业级AI应用中的潜力和优势。

测试选用了Dell Precision 7960 Tower工作站,搭载了四张NVIDIA RTX 5880 Ada显卡,总计192GB显存,足以应对70B大模型的部署需求。我们分别测试了单卡、双卡以及四卡GPU在不同模型下的推理和训练表现。

在推理测试中,我们选择了不同大小的模型,包括8B、13B、32B和70B,并分别进行了短输入短输出和长输入长输出的测试用例。结果显示,无论是单卡、双卡还是四卡配置,Dell Precision 7960 Tower都能够提供稳定且高效的推理性能。特别是在四卡配置下,70B模型的吞吐率达到了1730 token/s,平均总时延仅为27秒左右,首字时延8秒左右,表现非常理想。

在训练测试中,我们使用了Llama-Factory对不同数量的GPU进行了训练任务的测试。结果显示,无论是8B、13B还是32B和70B的模型,Dell Precision 7960 Tower都能够提供高效的训练性能,算力利用率高达82%以上。特别是在四卡配置下,8B模型的全参微调训练吞吐率接近Qlora的表现,达到了67.4 token/s的水平。

除了性能和效率,我们还特别关注了Dell Precision 7960 Tower的噪音控制。在训练测试过程中,四张显卡平均利用率80-90%的情况下,我们测得平均56分贝的水平;在推理测试中,测得接近50分贝的水平。总体上噪音控制得非常好,相当安静,基本上对办公室工作没有影响。

通过这次测试,我们可以看到,Dell Precision 7960 Tower工作站完全能够满足企业级AI应用的需求。无论是推理还是训练,无论是小模型还是大模型,它都能够提供稳定且高效的性能。同时,其超静音的优势也使得它成为没有机房的企业团队的理想选择。对于想要突破企业数据中心访问限制、实现AI自由的小伙伴们来说,Dell Precision 7960 Tower无疑是一个值得考虑的选择。

 
 
更多>同类内容
全站最新
热门内容
本栏最新