『科学计算』通过代码理解SoftMax多分类

SoftMax实际上是Logistic的推广,当分类数为2的时候会退化为Logistic分类其计算公式和损失函数如下, 梯度如下, 1{条件} 表示True为1,False为0,在下图中亦即对于每个样本只有正确的分类才取1,对于损失函数实际上只有m个表达式(m个样本每个有一个正确的分类)相加, 对于梯度实际上是把我们以前的最后一层和分类层合并了: 第一步则和之前的求法类似,1-概率 & 0-概率组成向量,作为分类层的梯度,对batch数据实现的话就是建立一个(m,k)的01矩阵,直接点乘控制开…

『科学计算』通过代码理解线性回归&Logistic回归模型

sklearn线性回归模型 import numpy as np import matplotlib.pyplot as plt from sklearn import linear_model def get_data(): #506行,14列,最后一列为label,前面13列为参数 data_original = np.loadtxt('housing.data') scale_data = scale_n(data_original) np.random.shuffle(scale_dat…

『科学计算』可视化二元正态分布&3D科学可视化实战

二元正态分布可视化本体由于近来一直再看kaggle的入门书(sklearn入门手册的感觉233),感觉对机器学习的理解加深了不少(实际上就只是调包能力加强了),联想到假期在python科学计算上也算是进行了一些尝试学习,觉得还是需要学习一下机器学习原理的,所以重新啃起了吴恩达的cs229,上次(5月份的时候?)就是在多元高斯分布这里吃的瘪,看不下去了,这次觉定稳扎稳打,不求速度多实践实践,尽量理解数学原理,所以再次看到这部分时决定把这个分布复现出来,吴恩达大佬用的matlab,我用的pytho…

『科学计算』L0、L1与L2范数_理解

『教程』L0.L1与L2范数一.L0范数.L1范数.参数稀疏 L0范数是指向量中非0的元素的个数.如果我们用L0范数来规则化一个参数矩阵W的话,就是希望W的大部分元素都是0,换句话说,让参数W是稀疏的. 既然L0可以实现稀疏,为什么不用L0,而要用L1呢?一是因为L0范数很难优化求解(NP难问题),二是L1范数是L0范数的最优凸近似,而且它比L0范数要容易优化求解.所以大家才把目光和万千宠爱转于L1范数. 总结:L1范数和L0范数可以实现稀疏,L1因具有比L0更好的优化求解特性而被广泛应用.…

『科学计算』图像检测微型demo

这里是课上老师给出的一个示例程序,演示图像检测的过程,本来以为是传统的滑窗检测,但实际上引入了selectivesearch来选择候选窗,所以看思路应该是RCNN的范畴,蛮有意思的,由于老师的注释写的蛮好的,我基本就不画蛇添足了,这里记录下来,为加深理解cs231n的课程做个铺垫.,所以做个储备,实在不行还有开学不是么233 # coding: utf-8 #copyRight by heibanke #如需转载请注明出处 #<<用Python做深度学习1-数学基础>> #http…

『科学计算』科学绘图库matplotlib学习之绘制动画

基础 1.matplotlib绘图函数接收两个等长list,第一个作为集合x坐标,第二个作为集合y坐标 2.基本函数: animation.FuncAnimation(fig, update_point,data) fig是画布 update是绘画函数需自己定义,需要一个参数,会自动接收data,需要返回plt.plot对象,描述比较费解,看例子就好 data种类很多,包括总帧数(例1).当前帧数(即不设定data的默认参数,例2).返回迭代器的函数(例3).list(作业2) frames=2…

『科学计算』科学绘图库matplotlib练习

思想:万物皆对象作业第一题: import numpy as np import matplotlib.pyplot as plt x = [1, 2, 3, 1] y = [1, 3, 0, 1] def plot_picture(x, y): plt.plot(x, y, color='r', linewidth='2', linestyle='--', marker='D', label='one') plt.xticks(list(range(-5,5,1))) plt.yticks…

『TensorFlow』通过代码理解gan网络_中

『cs231n』通过代码理解gan网络&tensorflow共享变量机制_上上篇是一个尝试生成minist手写体数据的简单GAN网络,之前有介绍过,图片维度是28*28*1,生成器的上采样使用的是tf.image.resize_image(),不太正规,不过其他部分很标准,值得参考学习. 辨别器: n,28,28,1 :卷积 + 激活 + 池化 n,14,14,32 :卷积 + 激活 + 池化 n,7,7,64 :reshape n,7*7*64 :全连接 + 激活 n,…

『cs231n』通过代码理解gan网络&tensorflow共享变量机制_上

GAN网络架构分析上图即为GAN的逻辑架构,其中的noise vector就是特征向量z,real images就是输入变量x,标签的标准比较简单(二分类么),real的就是tf.ones,fake的就是tf.zeros. 网络具体形状大体如上,具体数值有所调整,生成器过程为:噪声向量-全连接-卷积-卷积-卷积,辨别器过程:图片-卷积-卷积-全连接-全连接. 和预想的不同,实际上数据在生成器中并不是从无到有由小变大的过程,而是由3136(56*56)经过正常卷积步骤下降为28*28的过程. 实…

『cs231n』通过代码理解风格迁移

『cs231n』卷积神经网络的可视化应用文件目录 vgg16.py import os import numpy as np import tensorflow as tf from download import exist_or_download model_url = 'https://s3.amazonaws.com/cadl/models/vgg16.tfmodel' model_dir = 'vgg16/' model_name = 'vgg16.tfmodel' def mode…

『科学计算_理论』优化算法：梯度下降法&牛顿法

梯度下降法梯度下降法用来求解目标函数的极值.这个极值是给定模型给定数据之后在参数空间中搜索找到的.迭代过程为: 可以看出,梯度下降法更新参数的方式为目标函数在当前参数取值下的梯度值,前面再加上一个步长控制参数alpha.梯度下降法通常用一个三维图来展示,迭代过程就好像在不断地下坡,最终到达坡底.为了更形象地理解,也为了和牛顿法比较,这里我用一个二维图来表示: 懒得画图了直接用这个展示一下.在二维图中,梯度就相当于凸函数切线的斜率,横坐标就是每次迭代的参数,纵坐标是目标函数的取值.每次迭代的过程…

『科学计算_理论』PCA主成分分析

数据降维为了说明什么是数据的主成分,先从数据降维说起.数据降维是怎么回事儿?假设三维空间中有一系列点,这些点分布在一个过原点的斜面上,如果你用自然坐标系x,y,z这三个轴来表示这组数据的话,需要使用三个维度,而事实上,这些点的分布仅仅是在一个二维的平面上,那么,问题出在哪里?如果你再仔细想想,能不能把x,y,z坐标系旋转一下,使数据所在平面与x,y平面重合?这就对了!如果把旋转后的坐标系记为x’,y’,z’,那么这组数据的表示只用x’和y’两个维度表示即可!当然了,如果想恢复原来的表示方式,那…

『科学计算_理论』SVD奇异值分解

转载请声明出处 SVD奇异值分解概述 SVD不仅是一个数学问题,在工程应用中的很多地方都有它的身影,比如前面讲的PCA,掌握了SVD原理后再去看PCA那是相当简单的,在推荐系统方面,SVD更是名声大噪,将它应用于推荐系统的是Netflix大奖的获得者Koren,可以在Google上找到他写的文章:用SVD可以很容易得到任意矩阵的满秩分解,用满秩分解可以对数据做压缩.可以用SVD来证明对任意M*N的矩阵均存在如下分解: 这个可以应用在数据降维压缩上!在数据相关性特别大的情况下存储X和Y矩阵比存储A…

『TensorFlow Internals』笔记_源码结构

零.资料集合知乎专栏:Bob学步知乎提问:如何高效的学习 TensorFlow 代码?. 大佬刘光聪(Github,简书) 开源书:TensorFlow Internals,强烈推荐(本博客参考书) TensorFlow架构与设计:编程模型 TensorFlow架构与设计:概述 TensorFlow架构与设计:会话生命周期 TensorFlow架构与设计:图模块 TensorFlow架构与设计:OP本质论 TensorFlow架构与设计:变量初始化大佬姚健(Github) 系列文章(图片?…

『重构--改善既有代码的设计』读书笔记----Change Value to Reference

有时候你会认为某个对象应该是去全局唯一的,这就是引用(Reference)的概念.它代表当你在某个地点对他进行修改之后,那么所有共享他的对象都应该在再次访问他的时候得到相应的修改.而不会像值对象(Value)一样,不可修改.举个例子,你认识小明,我也认识小明,小明忽然把头发都踢了,这个时候你认识的小明和我认识的小明都是同一个人,都是光头,这个小明就是世界的唯一实例,然而,你有100块钱,我有50块钱,我把50块钱花到只剩20,你手里的100块钱并不会因为我的50块钱改变而改变,不会相应的修改,这…

科学计算库Numpy基础&提升（理解＋重要函数讲解）

Intro 对于同样的数值计算任务,使用numpy比直接编写python代码实现优点: 代码更简洁: numpy直接以数组.矩阵为粒度计算并且支持大量的数学函数,而python需要用for循环从底层实现: 性能更高效: numpy的数组存储效率和输入输出计算性能,比python使用list好很多,用numpy进行计算要比原生Python快得多,而且数据量越大,效果越明显:numpy的大部分代码都是c语言实现的,这是numpy比python高效的原因 numpy核心:ndarray对象 ndar…

『高性能模型』轻量级网络MobileNet_v2

论文地址:MobileNetV2: Inverted Residuals and Linear Bottlenecks 前文链接:『高性能模型』深度可分离卷积和MobileNet_v1 一.MobileNet v1 的不足 Relu 和数据坍缩 Moblienet V2文中提出,假设在2维空间有一组由个点组成的螺旋线数据,经随机矩阵映射到维并进行ReLU运算,即: 再通过矩阵的广义逆矩阵将映射回2维空间: 对比和发现,当映射维度时,数据坍塌:当时,数据基本被保存.虽然这不是…

『Python进阶』专题汇总

基础知识 Python3内置函数『Python』库安装『流畅的Python』第1~4章_数据结构.编码『Python』基础数据结构常见使用方法『Python CoolBook』数据结构和算法_多变量赋值&“*”的两种用法『Python CoolBook:Collections』数据结构和算法_collections.deque队列&yield应用『Python CoolBook:heapq』数据结构和算法_heapq堆队列算法&容器排序『Python CoolBook…

20172311『Java程序设计』课程结对编程练习_四则运算第一周阶段总结

20172311『Java程序设计』课程结对编程练习_四则运算第一周阶段总结结对伙伴学号 :20172307 姓名 :黄宇瑭伙伴第一周博客地址: http://www.cnblogs.com/20172307hyt/p/8975967.html 需求分析功能要求 1.自动生成题目可独立使用(能实现自己编写测试类单独生成题目的功能) 可生成不同等级题目,类似于: 1级题目:2 + 5 =: 10 - 5 = 之类的两个数,一个运算符的题目 2.题目运算(判题) 可独立使用实现中缀表达…

2017-2018-2 1723 『Java程序设计』课程结对编程练习-四则运算-最后阶段

2017-2018-2 1723 『Java程序设计』课程结对编程练习-四则运算-最后阶段最后的一周,时间越来越紧张,因为之前的拖沓和一些事情的耽误,导致了如今的紧张,这一周应该是我们小组效率最高的一周,因为放下了很多事情开始补充一些关于四则运算编程的一些东西. 结对编程的战友 20172316 赵乾宸:负责对于整数出题的编程,实现括号,整合最终输出: 20172319 唐才铭:负责对于分数出题的编程,类图绘制,整数类的修改,整数.分数测试: 20172329 王文彬:负责对于题目运算的编写…

2017-2018-2 20172323 『Java程序设计』课程结对编程练习_四则运算

结对编程的好丽友 - 20172323 王禹涵:中缀转后缀 - 20172314 方艺雯:后缀表达式的计算 - 20172305 谭鑫:中缀表达式的输出需求分析能随机生成由使用者确定的任意多道四则运算题目题目的难度等级可以选择,也可以选择不做混合运算题目运算实现中缀表达式转为后缀表达式并计算可以判断正误,并计算正确率支持真分数的运算设计思路无栈首先要确定生成题目的数量,可以用一个循环,使用Scanner,循环次数由用户输入的数确定. 算式的产生写一个类实现整数的四则运算:定义…

『深度应用』NLP机器翻译深度学习实战课程·壹（RNN base）

深度学习用的有一年多了,最近开始NLP自然处理方面的研发.刚好趁着这个机会写一系列NLP机器翻译深度学习实战课程. 本系列课程将从原理讲解与数据处理深入到如何动手实践与应用部署,将包括以下内容:(更新ing) NLP机器翻译深度学习实战课程·零(基础概念) NLP机器翻译深度学习实战课程·壹(RNN base) NLP机器翻译深度学习实战课程·贰(RNN+Attention base) NLP机器翻译深度学习实战课程·叁(CNN base) NLP机器翻译深度学习实战课程·肆(Self-Atte…

Julia语言：让高性能科学计算人人可用

Julia语言:让高性能科学计算人人可用要:一群科学家对现有计算工具感到不满:他们想要一套开源系统,有C的快速,Ruby的动态,Python的通用,R般在统计分析上得心应手,Perl的处理字符串处理,Matlab的线性代数运算能力……易学又不让真正的黑客感到无聊. Julia是个灵活动态的语言,最初针对数值计算而发明,项目起初是MIT的研究课题,现已发展成富有活力的软件系统,也是目前最受关注的编程语言之一.日前,Julia的四位发明者Jeff Bezanson.Stefan Karpinski.…