在各行各业,AI技术正在深入应用到各个场景。比如在电力行业,有AI协助“值守”,电力用户可以减少运维人力成本的投入,保障电力基础设施的正常运转。还能通过AI技术分析电力场站的视频监控,可以进行实时运检,提高电力场站的运检效率。
深信服智能边缘计算平台在软硬件适配、模型部署、复杂模型运行等方面简化边缘AI应用开发的难度,帮助开发者更加高效实现边缘AI应用落地。今天来为大家揭晓深信服智能边缘计算平台如何解决边缘AI工程化落地的三大难题。
一、软、硬件异构,兼容适配「难」
由于底层AI芯片和框架的方案很多,AI应用的开发者在做软硬协同及适配开发时难度非常高。基于深信服智能边缘计算平台的云边智能协同底座,实现了适配兼容,在模型迁移适配、AI应用构建部署以及推理性能优化等多个维度,帮助企业开发者实现云边智能高效协同。
深信服智能边缘计算平台内置的边缘推理引擎Sangfor Runtime,适配主流的深度学习框架、神经网络模型(包含目标检测、目标追踪、图像分类等),通过一套标准接口,帮助开发者快速实现算法面向边缘AI芯片的自动适配以及性能调优,为用户提供一站式边缘AI推理服务,进一步降低算法在不同边缘AI芯片间的迁移成本。
二、场景多样复杂,模型部署「难」
在实施交付现场,不同摄像头接入的视频流存在多类型场景的智能化分析需求,传统点对点的配置效率低下,加大了交付成本。
在AI应用构建阶段,深信服智能边缘计算平台通过可视化界面配置,开发者只需要上传AI模型文件,平台将实现自动AI镜像打包过程,帮助开发者自动构建可用于边缘节点上运行的AI应用镜像,大幅节省应用开发时间。基于深信服边缘AI技术,用户在研发边缘AI应用时,可以降低成本、提高模型性能。
此外,深信服智能边缘计算平台面向交付人员,提供多模型AI应用快速部署与模型智能调度的能力。交付人员基于客户的业务场景需求,根据同时运行算法的数量及算法依赖关系,通过可视化界面配置单模型调度、多模型并行调度、多模型串行调度及混合调度,最终满足不同场景下AI多模型应用的分发与部署运行,提高实时部署的便捷性。
三、大而全的复杂模型运行「难」
相较于中心云服务器,边缘节点的资源配置有限,难以运行大而全的复杂模型。如果将云端训练好的AI算法模型迁移至资源、算力相对有限的边缘节点,算法开发人员需要做大量模型量化、优化以及算子层面的调整工作,过程繁杂,优化效果高度依赖开发者经验。
深信服智能边缘计算平台支持开发者根据业务需求,在云上部署大模型,边缘部署小模型。边缘侧针对样本数据进行难易判别,简单样本在边缘侧由小模型完成推理,难例样本回传至云端由大模型完成推理,并自动实现云边推理结果汇总。这样,用户在边缘侧推理可获得更短的时延以及更高吞吐量,并兼顾了云侧推理的精度。
以上就是本期关于深信服智能边缘计算平台的分享,关注“深信服科技”公众号,可以获取更多技术内容。