电子发烧友综合报道 最近DeepSeek R1的火爆,引起了本地部署的热潮,但大部分个人用户,受到设备的限制,一般只能在个人电脑上部署小尺寸的1.5B或7B等轻量版。要本地部署完整版的R1 671B版本,至少需要500GB内存,以及约800GB(FP8精度)或1.4TB(FP16/BF16精度)显存。
对于企业用户而言,本地部署能够有效保护数据安全和隐私,避免将核心数据传输至第三方云端。针对企业需求,近期DeepSeek一体机也开始快速进入市场,帮助企业或个人客户AI应用快速落地。
华为在上周推出了昇腾DeepSeek大模型一体机,提供从服务器、推理卡、到加速模组等丰富的DeepSeek一体机产品形态。而2月17日华为DCS AI解决方案针对DeepSeek本地部署又推出了一系列FusionCube A3000训练/推理超融合一体机,深度适配DeepSeek V3/R1,以及蒸馏模型,支持私有化部署。
据介绍,FusionCube A3000分为三个版本,一是面向“满血版”DeepSeek R1和V3(671B)的FusionCube A3000 Ultra,支持模型推理,内置2个Atlas800I A2推理服务器,根据官网的操作维护指南,Atlas800I A2是一款4U形态的推理服务器,CPU支持4路鲲鹏920处理器,最多32个DDR4内存插槽,支持最高8个昇腾910 AI加速卡;存储方面使用OceanStor Dorado 5500全闪存存储系统,最大缓存384GB~4TB。
二是面向32B、70B蒸馏模型的FusionCube A3000 Pro,使用一个Atlas800I A2推理服务器和OceanStor Dorado 2100全闪存存储系统。
三是面向1.5B、7B、14B等蒸馏轻量版模型的FusionCube A3000 Lite,采用1个Atlas800 3000(4个Atlas 300I Duo),没有配备全闪存存储系统,满足一些智能办公、个性推荐等简单应用。
澎峰科技近期也推出了业内首款万元级别满血DeepSeek智算一体机Deep Fusion DF100,目前售价仅为9.9万元,性价比极高。
Deep Fusion DF100有塔式工作站、服务器两种形式,单机支持DeepSeek-R1/V3 671B满血模型,内置自研PerfXLM高性能推理引擎,采用创新性优化技术,提供无与伦比的推理速度,商业级可靠性和稳定性。同时采用一体化设计,开箱即用,预装PerfXCloud私有化管理平台和DeepSeek R1/V3满血模型,可灵活搭建私有知识库,确保数据隐私安全,轻松搭建私有化智能应用。
在硬件方面,Deep Fusion DF100目前采用英特尔CPU+消费级GPU的搭配,提供1700TOPS算力,推理速度为15tokens/s,内置512GB DDR5内存、4TB硬盘。据透露,未来澎峰科技还将会基于国产CPU和国产算力卡构建智算一体机。
对于AI大模型来说,尤其是开源大模型,私有化、本地化部署将会是未来的一大应用趋势,但现阶段而言,私有化部署的高成本,令普通消费者望尘莫及。可以看到现阶段的大模型一体机,以及近期跟随热点推出的DeepSeek一体机都主要面向企业用户。
当然也有一些PC厂商跟风推出相关的台式机,比如攀升最近推出了一个“DeepSeek AIPC”系列台式机,但实际只是针对AI应用所需的配置提供相关硬件,比如R7-9800X3D + 32GB RAM + 2TB SSD + RTX5080等常规高端PC配置,没有提供像管理平台、推理引擎等软件服务。
但随着算力成本的进一步下降,未来或许能够将本地部署私有化大模型的“一体机”实现普及,人人都能拥有一个私人定制化的本地大模型。
文章来自:电子发烧友