|
在2024数字中国创新大赛中，深信服AICP算力平台获得2个奖项！
《基于私有化大模型的推理训练一体化 Al算力平台》
· 2024数字中国创新大赛·信创赛道 行业贡献奖 · 2024数字中国创新大赛·城市赛道 二等奖
在垂直领域拥有自己的私有化大模型，已逐渐成为业界共识，但研发门槛高、使用成本高、安全风险高等痛点正在阻碍大模型落地的效率。深信服于2024年3月份正式发布AICP算力平台，面向各行各业大模型开发部署场景，提供一站式大模型训练和推理能力，为用户提供向导化配置、一键训练；一半成本、五倍性能；模型加密、保护知识产权的业务价值。
深信服AICP算力平台解决方案
打造“让更多用户用得上的AI”，是深信服AICP算力平台的产品愿景。本次荣获2个奖项，是对我们在AI基础设施领域中阶段性创新成果的一次肯定，也是我们在大模型领域持续创新、持续投入的动力。
借由本次获奖的机会，向各位展示深信服AICP算力平台的最新能力：
深信服AICP算力平台能够管理异构算力GPU资源池，并内置了主流的开源基模型、丰富的开源数据集，包括中英文语料库，以及医疗、金融、教育、法律等垂直领域的开源数据等，可帮助用户简化训练准备过程。
用户通过三步向导式操作，选择基模型、选择数据配比、选择算力资源池，即可一键开启训练任务，无需自行配置100多项复杂的超参数。
同时，通过三大关键指标监控和处置，使模型训练过程一目了然，可有效保障训练稳定、高效训练出垂直大模型。
• 实时资源监控：实时监控GPU、CPU、内存、存储指标，及时调整，防止训练中断。 • Checkpoint管理：本地SSD中保存最新模型状态，即便训练中断也可快速恢复。 • Loss曲线可视：曲线震荡或者上升及时调整训练数据；曲线下降并趋于稳定，表示训练效果良好。
针对使用成本高，平台内置大量训练和推理优化技术，创新地提供基于业务感知量化（BAQ）能力，在不损失大模型在垂直领域效果的同时，让推理性价比得到数倍的提升。
1. 通过模型量化，使模型显存占用减少50%，需要的GPU数量减少50%。
2. 创新的业务感知量化技术BAQ，保证量化后垂直领域业务效果无损。
3. 联合CPU和GPU进行通信优化，让系统总吞吐提升超过20%。
4. 结合业务数据的注意力稀疏技术，降低显存占用，让推理并发用户数提升30%。
5. 对推理缓存进行了混合精度压缩，让系统总吞吐提升超过30%。
针对安全风险高的问题，平台内置业界独有的模型动态加密能力，有效保护用户知识产权，防止核心的“模型资产”泄露。
动态加密技术可以实现加密后模型的推理效果不变，具有不依赖于特定硬件加密、性能损耗<5%的技术优势。
在这些核心技术以外，深信服AICP算力平台还积极推进信创生态构建。
提供对AI技术栈的良好兼容性，通过软硬件联合调优，满足大模型训练、推理任务对算力和性能的要求，让用户在信创环境中也能进行大模型项目的开发和应用，同时满足合规和业务建设需求。
深信服和国内厂商开展了广泛的软硬件兼容测试，如华为昇腾系列NPU、天数智芯全自研通用GPU等等，从测试结果看，在相同硬件成本下，国内厂商推理卡性能表现出色，能够在信创场景实现大模型任务承载。
深信服多年来坚持AI First的研发战略，积极探索先进的AI技术应用，如今收获专业奖项的肯定，更拥有广泛的落地实践经验。我们将带着这些激励与认可，继续拓展技术边界，以创新能力为用户带来更多智能化、个性化的AI解决方案。 | 
楼主
QQ好友和群
QQ空间
腾讯微博
腾讯朋友
发表于 2025-5-29 08:50
