最近,在全球安全领域的殿堂级盛会 DEF CON 2018 上,GeekPwn 拉斯维加斯站举行了 CAAD CTF 邀请赛,六支由国内外顶级 AI 学者与研究院组成的队伍共同探讨以对抗训练为攻防手段的 CTF.TSAIL 团队的庞天宇.杜超作为代表获得该项比赛的冠军,参加比赛的骨干成员还包括董胤蓬.韦星星等,TSAIL 团队来自于清华大学人工智能研究院,主要研究领域为机器学习. 同样在去年,该团队在 NIPS 2017 AI 对抗性攻防竞赛的三项比赛任务中(有/无特定目标攻击:攻击检测),全部

同步自我的知乎专栏:https://zhuanlan.zhihu.com/p/26122612 上篇文章 瞎谈CNN:通过优化求解输入图像 - 知乎专栏 中提到过对抗样本,这篇算是针对对抗样本的一个小小扩充:用Fast Gradient Sign方法在Caffe中生成对抗样本. 本文代码的完整例子可以在下面地址下载: frombeijingwithlove/dlcv_for_beginners Fast Gradient Sign方法 先回顾一下 瞎谈CNN:通过优化求解输入图像 - 知乎专栏 

自然语言处理方面的研究在近几年取得了惊人的进步,深度神经网络模型已经取代了许多传统的方法.但是,当前提出的许多自然语言处理模型并不能够反映文本的多样特征.因此,许多研究者认为应该开辟新的研究方法,特别是利用近几年较为流行的对抗样本生成和防御的相关研究方法. 使用对抗样本生成和防御的自然语言处理研究可以基本概括为以下三种:1. 用未察觉的扰动迷惑模型,并评价模型在这种情况下的表现:2. 有意的改变深度神经网络的输出:3. 检测深度神经网络是否过于敏感或过于稳定,并寻找防御攻击的方法. Jia 和

引言 在之前的文章中,我们介绍了对抗样本和对抗攻击的方法.在该系列文章中,我们介绍一种对抗样本防御的策略--对抗样本检测,可以通过检测对抗样本来强化DNN模型.本篇文章论述其中一种方法:feature squeezing,特征压缩通过将原始空间中许多不同特征向量对应的样本合并成一个样本,减少了对手可用的搜索空间.通过比较DNN模型对原始输入的预测与对实施特征压缩后的输入的预测,特征压缩能够以高精度检测出对抗样本,并且误报率很低.本文探讨两种特征压缩方法:减少每个像素的颜色位深度和空间平滑.这些简

环境:Ubuntu+TensorFlow 首先是GPU被其他人占用了,怎么也跑不起来最简单的TensorFlow小例子. 所以先学会如何查看显卡使用情况,转去使用其他空闲显卡. Linux查看Nvidia显卡信息及使用情况 nvidia-smi 结合top,查找进程号对应的用户 Fan:显示风扇转速,数值在0到100%之间,是计算机的期望转速,如果计算机不是通过风扇冷却或者风扇坏了,显示出来就是N/A: Temp:显卡内部的温度,单位是摄氏度: Perf:表征性能状态,从P0到P12,P0表示最

用MXNet实现mnist的生成对抗网络(GAN) 生成式对抗网络(Generative Adversarial Network,简称GAN)由一个生成网络与一个判别网络组成.生成网络从潜在空间(latent space)中随机采样作为输入,其输出结果需要尽量模仿训练集中的真实样本.判别网络的输入则为真实样本或生成网络的输出,其目的是将生成网络的输出从真实样本中尽可能分辨出来.而生成网络则要尽可能地欺骗判别网络.两个网络相互对抗.不断调整参数,最终目的是使判别网络无法判断生成网络的输出结果是否真

本文由  网易云发布. “知物由学”是网易云易盾打造的一个品牌栏目,词语出自汉·王充<论衡·实知>.人,能力有高下之分,学习才知道事物的道理,而后才有智慧,不去求问就不会知道.“知物由学”希望通过一篇篇技术干货.趋势解读.人物思考和沉淀给你带来收获的同时,也希望打开你的眼界,成就不一样的你.当然,如果你有不错的认知或分享,也欢迎通过邮件(zhangyong02@corp.netease.com)投稿. 以下是正文: 作者:Brad Harris,安全研究员,Brad曾在公共和私营部门的网络和计

1. 从纳什均衡(Nash equilibrium)说起 我们先来看看纳什均衡的经济学定义: 所谓纳什均衡,指的是参与人的这样一种策略组合,在该策略组合上,任何参与人单独改变策略都不会得到好处.换句话说,如果在一个策略组合上,当所有其他人都不改变策略时,没有人会改变自己的策略,则该策略组合就是一个纳什均衡. B站上有一个关于”海滩2个兄弟卖雪糕“形成纳什均衡的视频,讲的很生动. 不管系统中的双方一开始处于什么样的状态,只要系统中参与竞争的个体都是”理性经济人“,即每个人在考虑其他人的可能动作的基

攻击 supporting facts 的修改:字符调换,替换词(用空格embedding或近同义词,变形词等) 还有针对question的攻击. 梯度下降,在embediing上做攻击,如何decode是个问题. 防御 如果把大量对抗样本加到训练样本一起训练不够显示,作用不是很大,随时都可能会有新的对抗样本. 2018 Tackling Adversarial Examples in QA via Answer Sentence Selection这篇讲的是先筛选候选句,再进行推理回答. 20

“联邦对抗技术大赛”9月开战  微众银行呼唤开发者共同“AI创新”   从<第五元素>中的智能系统到<超体>中的信息操控,在科幻电影中人工智能已经发展到了极致.而在现实中,目前人工智能正在金融.医疗.教育等多领域落地,赋能实体经济发展.其中,金融行业与人工智能结合的想象空间和发展前景十分广阔,但也面临着“数据孤岛”与“AI安全”等问题. 为应对互联网金融和科技金融发展对人工智能技术提出的挑战,作为中国首家互联网银行,微众银行在中国人工智能学会主办的2019第二届中国“AI+”创新创

最近在参加IJCAI-19阿里巴巴人工智能对抗算法竞赛(点击了解),初赛刚刚结束,防御第23名,目标攻击和无目标攻击出了点小问题,成绩不太好都是50多名,由于找不到队友,只好一个人跟一群大佬PK,双拳难敌四手,差点自闭放弃比赛了.由于知道对抗攻击的人很少,于是抽空写篇博客,简单科普一下人工智能与信息安全的交叉前沿研究领域:深度学习攻防对抗. 然后简单介绍一下IJCAI-19 阿里巴巴人工智能对抗算法竞赛 目前,人脸识别.自动驾驶.刷脸支付.抓捕逃犯.美颜直播……人工智能与实体经济深度结合,彻底改

一文读懂对抗生成学习(Generative Adversarial Nets)[GAN] 0x00 推荐论文 https://arxiv.org/pdf/1406.2661.pdf 0x01什么是gan Generative model G用来生成样本 Discriminative model D用来区别G生成样本的真假 G努力的方向是生成出以假乱真的样本,让D认为这样本是人类给的而不是G创造的,D则相反. 一个更加形象的比喻 小时候老师让试卷上家长签字,以确保家长看过我那卑微的成绩.于是乎我尽

SNN对抗攻击笔记: 1. 解决SNN对抗攻击中脉冲与梯度数据格式不兼容性以及梯度消失问题: G2S Converter.Gradient Trigger[1] 2. 基于梯度的对抗攻击方式: FGSM[1-3] R-FGSM[3] I-FGSM[3] BIM[1] PGD[2] 3. 图像转化到脉冲序列的采样方式: Poisson事件生成过程[1-9] 4. SNN类型: SNN-conv(ANN-SNN Conversion)[2-7, 9] 采用的神经元模型 IF神经元模型[2-7, 9]

pytorch生成对抗示例 本文对ML(机器学习)模型的安全漏洞的认识,并将深入了解对抗性机器学习的热门话题.图像添加难以察觉的扰动会导致模型性能大不相同.通过图像分类器上的示例探讨该主题.使用第一种也是最流行的攻击方法之一,即快速梯度符号攻击算法(FGSM)来迷惑 MNIST 分类器. 1.威胁模型 对于上下文,有许多类别的对抗性攻击,每种攻击具有不同的目标和对攻击者知识的假设.总体目标是向输入数据添加最少量的扰动,引起期望的错误分类.对攻击者的知识有几种假设,其中两种是:白盒子和黑盒子.白盒

引言 在对抗样本综述(二)中,我们知道了几种著名的对抗攻击和对抗防御的方法.下面具体来看下几种对抗攻击是如何工作的.这篇文章介绍FGSM(Fast Gradient Sign Method). 预备知识 符号函数sign 泰勒展开 当函数\(f(x)\)在点\(x_0\)处可导时,在点\(x_0\)的邻域\(U(x_0)\)内恒有: \[f(x)=f(x_0)+f'(x_0)*(x-x_0)+o(x-x_0) \] 因为\(o(x-x_0)\)是一个无穷小量,故有: \[f(x)≈f(x_0)+

目录 写在前面 缓解样本不均衡 模型层面解决样本不均衡 Focal Loss pytorch代码实现 数据层面解决样本不均衡 提升模型鲁棒性 对抗训练 对抗训练pytorch代码实现 知识蒸馏 防止模型过拟合 正则化 L1和L2正则化 Dropout 数据增强 Early stopping 交叉验证 Batch Normalization 选择合适的网络结构 多模型融合 参考资料 写在前面 ​ 文本分类是nlp中一个非常重要的任务,也是非常适合入坑nlp的第一个完整项目.虽然文本分类看似简单,但

小样本利器2.文本对抗+半监督 FGSM & VAT & FGM代码实现 上一章我们聊了聊通过一致性正则的半监督方案,使用大量的未标注样本来提升小样本模型的泛化能力.这一章我们结合FGSM,FGM,VAT看下如何使用对抗训练,以及对抗训练结合半监督来提升模型的鲁棒性.本章我们会混着CV和NLP一起来说,VAT的两篇是CV领域的论文,而FGM是CV迁移到NLP的实现方案,一作都是同一位作者大大.FGM的tensorflow实现详见Github-SimpleClassification 我们会

安全是一个动态的过程,攻防对抗如同在赛博世界里降妖伏魔,其要义是:取彼之长,补己之短.--伏魔引擎的诞生 伏魔引擎挑战赛 注册时间: 2022.01.10 00:00:00 - 2022.01.24 10:00:00(UTC +8) 比赛时间: 2022.01.17 10:00:00 - 2022.01.24 10:00:00(UTC +8) 主办方: 薪火实验室 & 云安全中心 & ASRC 比赛奖金:比赛奖金:1000 RMB/份有效报告(中国区用户).150 USD/份有效报告(面向

论文信息 论文标题:Rumor Detection on Social Media with Graph AdversarialContrastive Learning论文作者:Tiening Sun.Zhong Qian.Sujun Dong论文来源:2022, WWW论文地址:download论文代码:download Abstract 尽管基于GNN的方法在谣言检测领域取得了一些成功,但是这些基于交叉熵损失的方法常常导致泛化能力差,并且缺乏对一些带有噪声的或者对抗性的样本的鲁棒性,尤其是一

本文同步自我的知乎专栏: From Beijing with Love 机器学习和优化问题 很多机器学习方法可以归结为优化问题,对于一个参数模型,比如神经网络,用来表示的话,训练模型其实就是下面的参数优化问题: 其中L是loss function,比如神经网络中分类常用的cross-entropy. CNN学到了什么? 特征(Representation).把原始图像看做一个维度是像素×通道的向量,经过各种复杂的CNN结构,其实只不过成了另一个向量.这个向量所在的空间也许有更好的线性可分性,也许