在刚刚结束的深信服第17届核心合作伙伴论坛中,深信服最新发布:
一朵云面向AI进行全新升级,为用户打造更匹配大模型场景的智算承载、应用构建的AI平台,面向用户基于DeepSeek承载和应用的场景,提供一键部署、性能更优、快速开发应用的最佳实践方案!
向AI升级后,深信服全面优化推理性能,让跑在一朵云上的大模型应用可以实现推理性能的大幅提升,降低大模型整体使用成本。
相比基于个人开发者常用的Ollama方案部署DeepSeek,深信服通过AICP算力平台的部署方案在多实例、并发推理场景中可实现5-10倍的性能提升。大模型并发度更高、吞吐量更大、推理响应延时更低,让用户在企业级AI应用构建及实际使用时,资源投入更低、体验更优。
通过一个问答测试场景演示,我们可以直观地感受效果:深信服(左侧)提供的推理速度更快,用户体验更好。
|以32B模型为例,日常问答场景(2k上下文),AICP并发是Ollama的8~10倍,总吞吐10倍以上。 具体而言,深信服可为用户提供——
深信服现已打造「HCI+AICP新一代超融合」解决方案,只需在原集群基础上增加一台GPU节点,就能基于本地集群快速部署并承载DeepSeek在内的企业级大模型。
无需重构原有基础框架,通过「新一代超融合」升级,基础设施即可完成从传统承载平台向智算承载平台的演进。所有承载通算、智算的集群资源都可以在信服云管理平台SCP上进行统一纳管。同时,平台支持大模型和小模型混合部署,实现资源的自动化调度,更大程度优化算力资源的利用率。
除了推理性能优化、部署与管理便捷,深信服AICP算力平台还提供了向导化的配置,实现一键训练,帮助用户开发垂直领域大模型,大幅降低研发门槛和成本。结合模型加密技术,有效保护用户知识产权,防止“模型资产”泄露。
同时,除了支持英伟达GPU,深信服AICP算力平台和多家国产厂商开展了广泛的软硬件兼容测试,可适配天数智芯、昇腾、海光、沐曦、燧原等多款国产卡,为用户实现算力异构管理。
这次一朵云面向AI升级,深信服对线上服务目录也做了相应的扩展。
深信服托管云已支持基于专属资源+AICP的方式,为用户提供专属的企业级大模型服务,可满足用户对于线上部署专属服务模型的需求。
未来,深信服会持续丰富线上服务目录,用户可以很容易地通过订阅的方式,快速平滑地获取AI能力,如DeepSeek等模型服务。
随着开源模型的不断发展,大模型承载愈发成为基础需求,各行业用户也正进一步关注如何快速构建应用并在实际业务中发挥价值。对此,深信服全新推出AI应用创新平台,助力用户更简单地完成AI应用的开发和运营。
|