【每日一记】+第26天+什么是指纹攻击
  

平凡的小网工 1254

{{ttag.title}}
在人工智能的浪潮席卷全球之时,安全从来都是一个不容忽视的议题。而在这之中,扮演着重要基石角色的AI模型安全尤为受到关注。
11月27日至28日,CIS 2019网络安全创新大会在上海举行。
众所周知,随着云计算与AI的融合发展,基于云服务的AI技术方案正在被越来越广泛地应用于图像分类、图像审核、人脸识别、语音识别、语音合成、文本情感分析及文本内容过滤等场景。相较于传统的本地化方案,云端AI服务不仅可以有效降低硬件部署成本和开发难度,也便于GPU集群资源的利用及模型优化。同时,由于绝大部分主流科技企业将其作为一种云服务打包方案,仅提供最终调用结果而不公开其预处理环节和模型细节,故这类服务抑或说“云端黑盒模型”模式通常也被视作是安全的,可以有效抵御对抗样本的攻击。
但是,与这一普遍认知相反,最新研究却发现:云端黑盒模型制造的仅仅是虚假的安全感,在模型架构、参数及输入规则不可知的情况下,攻击者依然有机会实施对深度学习模型的欺骗。
“指纹攻击”是今年于新加坡召开的BlackHat Asia 2019中首次对外公开的研究成果,并揭示了当前深度学习模型训练常用的迁移学习方法所存在的安全缺陷。
由于特征提取层的架构和参数可被重复利用,特征值和架构也能够保持不变,基于迁移学习的训练方法在业内有着颇被推崇的高效性。然而,这也导致其模型所使用的特征提取层可以通过一定的攻击手段进行推算。在百度安全的实验中,研究人员根据极少的请求结果实现了对模型结构的推测,并按照“白盒”方式精确构造针对性对抗样本,从而完成对云端模型的定向和非定向攻击。
在上述实验中,在攻击者条件充足的情况下,攻击的绕过率分别高达86%(非定向)和65%(定向),而在条件不充足(比如仅支持2次请求)的情况下,攻击的绕过率也可以达到33%(非定向)和16%(定向)。换句话说,当AI模型面对相对高频的指纹攻击时,其安全性已不足以应对风险。

打赏鼓励作者,期待更多好文!

打赏
1人已打赏

蟲爺 发表于 2022-1-26 18:54
  
感谢分享
发表新帖
热门标签
全部标签>
西北区每日一问
每日一问
干货满满
技术盲盒
GIF动图学习
2023技术争霸赛专题
产品连连看
技术笔记
安装部署配置
日志审计
新版本体验
功能体验
秒懂零信任
信服课堂视频
技术圆桌
社区新周刊
技术咨询
畅聊IT
答题自测
专家问答
在线直播
MVP
网络基础知识
升级
安全攻防
上网策略
测试报告
问题分析处理
流量管理
每日一记
运维工具
云计算知识
用户认证
原创分享
解决方案
sangfor周刊
VPN 对接
项目案例
SANGFOR资讯
专家分享
技术顾问
信服故事
SDP百科
标准化排查
功能咨询
终端接入
授权
设备维护
资源访问
地址转换
虚拟机
存储
迁移
加速技术
排障笔记本
产品预警公告
玩转零信任
信服圈儿
S豆商城资讯
技术争霸赛
「智能机器人」
追光者计划
深信服技术支持平台
社区帮助指南
答题榜单公布
纪元平台
通用技术
卧龙计划
华北区拉练
天逸直播
以战代练
技术晨报
自助服务平台操作指引
山东区技术晨报
文档捉虫活动
齐鲁TV
华北区交付直播
每周精选
2024年技术争霸赛
北京区每日一练
场景专题
故障笔记
排障那些事
高手请过招
升级&主动服务
高频问题集锦
【每周新见闻】

本版版主

12
185
6

发帖

粉丝

关注

本版达人

LoveTec...

本周分享达人

新手24116...

本周提问达人