p-value是一种概率:在原假设为真的前提下,出现该样本或比该样本更极端的结果的概率之和. 例子: 我们假设 H0:出现正面的概率是1/2 扔硬币20次出现了14次正面.该样本的单边p-value计算如下: 考虑双边检验时候,p-value是单边的二倍,即0.115 参考文献:http://en.wikipedia.org/wiki/P-value

load water_data.mat attributes = mapminmax(attributes); P_train = attributes(:,1:35); T_train = classes(:,1:35); P_test = attributes(:,36:end); T_test = classes(:,36:end); net = newc(minmax(P_train),4,0.01,0.01); w=net.iw{1,1}; b=net.b{1} net.trainPa

load water_data.mat attributes = mapminmax(attributes); P_train = attributes(:,1:35); T_train = classes(:,1:35); P_test = attributes(:,36:end); T_test = classes(:,36:end); net = newsom(P_train,[4 4]); net.trainParam.epochs = 200; net = train(net,P_tr

样本行为 该样本为国庆期间接到的一个应急,发现为今年比较流行的xorddos,遂分析一番. 运行之后,查看进程,可以发现可疑进程ydxrooqtno,以及ppkzkneour. 多次运行发现除了ydxrooqtno之外,其余进程的id,名称一直在改变.

同步自我的知乎专栏:https://zhuanlan.zhihu.com/p/27343585 本文完整代码地址:Generative Adversarial Networks (GANs) with 2D Samples 50行GAN代码的问题 Dev Nag写的50行代码的GAN,大概是网上流传最广的,关于GAN最简单的小例子.这是一份用一维均匀样本作为特征空间(latent space)样本,经过生成网络变换后,生成高斯分布样本的代码.结构非常清晰,却有一个奇怪的问题,就是判别器(Disc

正负样本比率失衡SMOTE [TOC] 背景 这几天测试天池的优惠券预测数据在dnn上面会不会比集成树有较好的效果,但是正负样本差距太大,而处理这种情况的一般有欠抽样和过抽样,这里主要讲过抽样,过抽样有一种简单的方法叫随机过抽样,但是随机过抽样只是随机的复制,很容易过拟合,所以SMOTE比较好,SMOTE还有一些改进版本,更好用,这里讲一般的SMOTE即可 公式 \(x\) : 任意一个样本 \(\tilde{x}\) : \(x\)最临近的\(K\)个样本的随机一个,\(x\not= \til

文章下载地址:A Surface Defect Detection Method Based on Positive Samples 第一部分  论文中文翻译 摘要:基于机器视觉的表面缺陷检测和分类可以大大提高工业生产的效率.利用足够的已标记图像,基于卷积神经网络的缺陷检测方法已经实现了现有技术的检测效果. 然而在实际应用中,缺陷样本或负样本通常难以预先收集,并且手动标记需要耗费大量时间.本文提出了一种仅基于正样本训练的新型缺陷检测框架. 其检测原理是建立一个重建网络,如果它们存在,可以修复样本

在TCGA中,一个患者可能会对应多个样本,如TCGA-A6-6650可以得到3个样本数据: TCGA-A6-6650-01A-11R-1774-07TCGA-A6-6650-01A-11R-A278-07TCGA-A6-6650-01B-02R-A277-07大家知道一般在做TCGA数据分析的时候样本名实际上只保留到前四个元素(以”-“分割),例如TCGA-A6-6650-01.所以实际上上示3个样本一般只保留一个,那该怎么取舍呢? 在取舍之前,当然要先搞清楚样本命名方式: 我们将此示图以”-“

在现在的机器学习中,很多人都在研究自适应的参数,不需要人工调参,但是仅仅是自动调参就不能根本上解决 ai识别准确度达不到实际生产的要求和落地困难的问题吗?结论可想而知.如果不改变参数,那就得从算法的结构入手, 比如,现有的谷歌的MnasNet系列,这种是在人工的指导下进行的,但是,仅仅是这样就够了吗?我个人觉得还不够 1.在做机器学习的时候,我们模型的指标提不上去的时候,通常原因是因为边缘样本,也就是我们所说的hard-example, 如果和解决边缘样本呢?目前是人工发现这些样本并增加hard

论文记录:Identifying Encrypted Malware Traffic with Contextual Flow Data from:https://songcoming.github.io/lectures/%E8%AE%BA%E6%96%87%E8%AE%B0%E5%BD%95-Identifying-Encrypted-Malware-Traffic-with-Contextual-Flow-Data.html 0x00 本系列笔记是用来记录论文阅读过程中产生的问题与思考的随

杜伦大学提出GANomaly:无需负例样本实现异常检测 本期推荐的论文笔记来自 PaperWeekly 社区用户 @TwistedW.在异常检测模块下,如果没有异常(负例样本)来训练模型,应该如何实现异常检测?本文提出的模型——GANomaly,便是可以实现在毫无异常样本训练下对异常样本做检测. 关于作者:武广,合肥工业大学硕士生,研究方向为图像生成. ■ 论文 | GANomaly: Semi-Supervised Anomaly Detection via Adversarial Train

最近,在全球安全领域的殿堂级盛会 DEF CON 2018 上,GeekPwn 拉斯维加斯站举行了 CAAD CTF 邀请赛,六支由国内外顶级 AI 学者与研究院组成的队伍共同探讨以对抗训练为攻防手段的 CTF.TSAIL 团队的庞天宇.杜超作为代表获得该项比赛的冠军,参加比赛的骨干成员还包括董胤蓬.韦星星等,TSAIL 团队来自于清华大学人工智能研究院,主要研究领域为机器学习. 同样在去年,该团队在 NIPS 2017 AI 对抗性攻防竞赛的三项比赛任务中(有/无特定目标攻击:攻击检测),全部

from:http://www.freebuf.com/articles/system/182566.html 0×01 前言 目前的恶意样本检测方法可以分为两大类:静态检测和动态检测.静态检测是指并不实际运行样本,而是直接根据二进制样本或相应的反汇编代码进行分析,此类方法容易受到变形.加壳.隐藏等方式的干扰.动态检测是指将样本在沙箱等环境中运行,根据样本对操作系统的资源调度情况进行分析.现有的动态行为检测都是基于规则对行为进行打分,分值的高低代表恶意程度的高低,但是无法给出类别定义. 本文采用

VisualStudio中自带有Profile工具进行性能性能分析,其中用得比较多的数据是函数调用时间,它主要有独占样本数和非独占样本数两个指标,关于这两个指标代表的意义,MSDN的解释比较文艺: 非独占样本数: 为函数收集的性能数据的总数,其中包括该函数调用的其他函数的性能数据. 非独占转换次数: 在此函数(包括此函数调用的函数)的所有实例中发生操作系统(转换)事件的次数. 其它性能数据解释可以参看:http://msdn.microsoft.com/zh-cn/library/ms24274

所以我们的流程如图所示.将正负样本按 1:1 的比例转换为图像.将 ImageNet 中训练好的图像分类模型作为迁移学习的输入.在 GPU 集群中进行训练.我们同时训练了标准模型和压缩模型,对应不同的客户需求(有无 GPU 环境). 流程中比较核心的算法其实在文件到图像的转换.因为常规的网络一般能输入的尺寸也就是 300 x 300 上下,也就是 9K 左右的规模.而病毒样本的大小平均接近 1M,是远远大于这个尺寸.图像领域的常规转换方法就是缩放,或者用 pyramid pooling.这两者我

基于比较的方法 先通过CNN得到目标特征,然后与参考目标的特征进行比较. 不同在于比较的方法不同而已. 基本概念 数据集Omniglot:50种alphabets(文字或者文明); alphabet中15-40 characters(字母); 每个字母有20drawers(20个不同的人写的). 每次迭代叫mini_batch或者epsiode. N-ways指的是有多个类别,N-shot是指于多少个目标进行比较取均值中的最高值作为最后的结果. 测试集与训练集中样本的类别不一样. cosine(

0 前言 Focal Loss是为了处理样本不平衡问题而提出的,经时间验证,在多种任务上,效果还是不错的.在理解Focal Loss前,需要先深刻理一下交叉熵损失,和带权重的交叉熵损失.然后我们从样本权利的角度出发,理解Focal Loss是如何分配样本权重的.Focal是动词Focus的形容词形式,那么它究竟Focus在什么地方呢? 1 交叉熵 1.1 交叉熵损失(Cross Entropy Loss) 有\(N\)个样本,输入一个\(C\)分类器,得到的输出为\(X\in \mathcal{

Unsupervised Sentence Representation via Contrastive Learning with Mixing Negatives 论文地址:https://www.aaai.org/AAAI22Papers/AAAI-8081.ZhangY.pdf 代码地址:https://github.com/BDBC-KG-NLP/MixCSE_AAAI2022 动机:困难样本挖掘对训练过程中维持强梯度信号是至关重要的,同时,随机采样负样本对于句子表示是无效的. 为什么

不久前收到的一个linux样本,之前linux平台下的样本见得并不多,正好做个记录. 样本启动之后,会将自身重命名拷贝到/usr/bin下,并删除自身,如此处就将自身文件amdhzbenfi命名为usnfpnglab. 运行中的样本进程.

提取样本见命令行: plink --bfile file --noweb --keep sampleID.txt --recode --make-bed --out sample 其中,sampleID.txt第一列为提取的样本Family ID,第二列为Within-family ID(IID) 同样的,如果是去除样本,则用参数“--remove”

# -*- coding: utf-8 -*- """ Created on Wed Oct 31 20:59:39 2018 脚本描述:采用boosting思想开发一个解决二分类样本不平衡的多估计器模型 @author: WZD """ from sklearn.datasets import load_breast_cancer from sklearn.model_selection import train_test_split impo