一.ETL介绍: 数据抽取:把不同的数据源数据抓取过来,存到某个地方 数据清洗:过滤那些不符合要求的数据或者修正数据之后再进行抽取 不完整的数据:比如数据里一些应该有的信息缺失,需要补全后再写入数据仓库 错误的数据:比如字符串数据后面有一个回车操作.日期格式不正确.日期越界等,需要修正之后再抽取 重复的数据:重复数据记录的所有字段,需要去重 数据转换:不一致的数据转换,比如同一个供应商在结算系统的编码是XX0001,而在CRM中编码是YY0001,统一编码 实现有多种方法: 1.借助ETL工具(

从零开始在ubuntu上配置深度学习开发环境 昨天一不小心把原来配置好的台式机的开发环境破坏了,调了半天没有调回来,索性就重装一次ubuntu系统.这篇文章主要记录一个简单的.‘傻瓜式’教程. 一.Ubuntu系统重装 可以参照以下链接的教程来准备启动盘,然后安装系统,地址为在这里. 二.安装Firefox浏览器 在国内的官网上面下载安装火狐浏览器.首先下载tar文件,如下图: 将压缩包内的文件解压到某一路径之内,博主选择的是解压到:/usr/share/路径下,因为这是ubuntu安装软件的默

树莓派是国内比较流行的一款卡片式计算机,但是受限于其硬件配置,用树莓派玩深度学习似乎有些艰难.最近OPENAI为嵌入式设备推出了一款AI框架Tengine,其对于配置的要求相比传统框架降低了很多,我尝试着在树莓派上进行了搭建并成功运行了Mobilenet-SSD. Tengine简介 OAID/Tengine|github Tengine 是OPEN AI LAB 为嵌入式设备开发的一个轻量级.高性能并且模块化的引擎. Tengine在嵌入式设备上支持CPU,GPU,DLA/NPU,DSP异构计

github上热门深度学习项目 项目名 Stars 描述 TensorFlow 29622 使用数据流图进行可扩展机器学习的计算. Caffe 11799 Caffe:深度学习的快速开放框架. [Neural Style](https://github.com/jcjohnson/neural-style) 10148 火炬实现神经风格算法. Deep Dream 9042 深梦. Keras 7502 适用于Python的深度学习库.Convnets,递归神经网络等等.在Theano和Tens

用TVM在硬件平台上部署深度学习工作负载的端到端 IR 堆栈 深度学习已变得无处不在,不可或缺.这场革命的一部分是由可扩展的深度学习系统推动的,如滕索弗洛.MXNet.咖啡和皮托奇.大多数现有系统针对范围狭窄的服务器级 GPU 进行了优化,需要在其它平台,如移动电话.物联网设备和专用加速器(FPGA.ASIC)上部署大量精力.随着深度学习框架和硬件后端数量的增加,建议建立一个统一的中间表示 (IR) 堆栈,以缩小以生产力为中心的深度学习框架与面向性能或效率的硬件后端之间的差距. TVM 是一个新

  这篇博客主要是整理了PointNet提出者祁芮中台介绍PointNet.PointNet++.Frustum PointNets的PPT内容,内容包括如何将点云进行深度学习,如何设计新型的网络架构,如何将架构应用的3D场景理解. 作者主页:https://stanford.edu/~rqi/ B站视频:https://www.bilibili.com/s/video/BV1HE411g7tA PPT下载链接:https://pan.baidu.com/s/105MRbBmCv4Tj6GYTM

anaconda3.5.2.0----python3.6: conda  install   tensorflow-gpu  -y --prefix  /media/wkr/diskHgst/ubun/env/anaconda3520 conda  install  pytorch  cuda92  -c soumith  -y   --prefix  /media/wkr/diskHgst/ubun/env/anaconda3520 conda  install   -c caffe2 caf

转载:http://dataunion.org/8463.html?utm_source=tuicool&utm_medium=referral <Brief History of Machine Learning> 介绍:这是一篇介绍机器学习历史的文章,介绍很全面,从感知机.神经网络.决策树.SVM.Adaboost到随机森林.Deep Learning. <Deep Learning in Neural Networks: An Overview> 介绍:这是瑞士人工智

[摘录理由]: 之所以摘录本文,主要原因是:该文配有开源代码(https://github.com/dmlc/nnvm):读者能够直接体会文中所述的意义,便于立刻展开研究. MXNet专栏 :NNVM打造模块化深度学习系统 2016-10-01 作者:陈天奇       本文是机器之心 MXNet 系列专栏的第一篇,作者是 MXNet 的打造者之一陈天奇.MXNet 专栏是机器之心之后将发表的系列文章,包括 MXNet 打造者的人物专访.技术博客等,敬请期待! 这是一个深度学习的大航海时代,不仅

转自:机器学习(Machine Learning)&深度学习(Deep Learning)资料 <Brief History of Machine Learning> 介绍:这是一篇介绍机器学习历史的文章,介绍很全面,从感知机.神经网络.决策树.SVM.Adaboost到随机森林.Deep Learning. <Deep Learning in Neural Networks: An Overview> 介绍:这是瑞士人工智能实验室Jurgen Schmidhuber写的最

作者:王嘉俊 王婉婷 TensorFlow 是 Google 第二代深度学习系统,今天宣布完全开源.TensorFlow 是一种编写机器学习算法的界面,也可以编译执行机器学习算法的代码.使用 TensorFlow 编写的运算可以几乎不用更改,就能被运行在多种异质系统上,从移动设备(例如手机和平板)到拥有几百台的机器和几千个 GPU 之类运算设备的大规模分布式系统. TensorFlow 降低了深度学习的使用门槛,让从业人员能够更简单和方便地开发新产品.作为Google 发布的“平台级产品”,很多

近年来,深度学习可谓是机器学习方向的明星概念,不同的模型分别在图像处理与自然语言处理等任务中取得了前所未有的好成绩.在实际的应用中,大家除了关心模型的准确度,还常常希望能比较快速地完成模型的训练.一个常用的加速手段便是将模型放在GPU上进行训练.然而由于种种原因,R语言似乎缺少一个能够在GPU上训练深度学习模型的程序包. DMLC(Distributed (Deep) Machine Learning Community)是由一群极客发起的组织,主要目标是提供快速高质量的开源机器学习工具.近来流

转载于统计之都,http://cos.name/tag/dmlc/,作者陈天奇 ------------------------------------------------------------ Matt︱R语言调用深度学习架构系列引文 R语言︱H2o深度学习的一些R语言实践--H2o包 R用户的福音︱TensorFlow:TensorFlow的R接口 mxnet:结合R与GPU加速深度学习 碎片︱R语言与深度学习 sparklyr包:实现Spark与R的接口,会用dplyr就能玩Spar

原文链接:https://yq.aliyun.com/topic/111 本文是对原文内容中部分概念的摘取记录,可能有轻微改动,但不影响原文表达. 08 - BP算法双向传,链式求导最缠绵 反向传播(Back Propagation,简称BP) 算法 在神经网络(甚至深度学习)参数训练中,BP算法占据举足轻重的地位. 实际上BP算法是一个典型的双向算法,但通常强调的是反向传播. 工作流程分两大步: 正向传播输入信号,输出分类信息(对于有监督学习而言,基本上都可归属于分类算法).简单说来,就是把信

2016年被称为人工智能的元年,2017年是人能智能应用的元年:深度学习技术和应用取得飞速发展:深度学习在互联网教育场景也得到广泛应用.本文主要介绍机器学习及深度学习之定义及基本概念.相关网络结构等. 本文主要内容包括机器学习的定义及组成分类.深度学习的定义.深度学习和机器学习的区别.神经网络基本概念及基本结构.深度学习的相关核心概念(基本假设.数据集.表示.泛化.容量.优化.超参数.误差.欠拟合.过拟合.正则化).两种典型深度网络结构(CNN.RNN)基本介绍. 引言 人工智能究竟能够做什么?

转:http://blog.csdn.net/wbgxx333/article/details/41019453 深度神经网络已经是语音识别领域最热的话题了.从2010年开始,许多关于深度神经网络的文章在这个领域发表.许多大型科技公司(谷歌和微软)开始把DNN用到他们的产品系统里.(备注:谷歌的应该是google now,微软的应该是win7和win8操作系统里的语音识别和他的SDK等等) 但是,没有一个工具箱像kaldi这样可以很好的提供支持.因为先进的技术无时无刻不在发展,这就意味着代码需要

人工智能之父麦卡锡给出的定义 构建智能机器,特别是智能计算机程序的科学和工程. 人工智能是一种让计算机程序能够"智能地"思考的方式 思考的模式类似于人类. 什么是智能? 智能的英语是 Intelligence 推理,知识,规划,学习,交流,感知,移动和操作物体. 智能 不等于 智力 (IQ:智商 比较类似计算机的计算能力) 如何算有智能? 可以根据环境变化而做出相应变化的能力. 具有"存活" 这最基本的动因 自主意识,自我意识等等. 抢小孩子西瓜吃,小孩子护住西瓜就

B.G 至2017.11 GPU选型:(参考知乎.CSDN) 高性价比的两款:GTX1080ti, Titan X --通常调试算法  i7CPU+32G内存+SSD+2*GPU(单块显存>6G),总计成本2.7 - 4w+RMB 土豪系列:Tesla K80, M40 云:(每小时成本高于物理机,优势是托管环境系统) AWS.UClound 阿里云HPC 一.准备工作 Amazon账号   在AWS上配置深度学习主机 AWS 命令行界面 (CLI)    https://aws.amazon.

之前一直在CPU上跑深度学习,由于做的是NLP方向所以也能勉强忍受.最近在做图像的时候,实在是扛不住了...还好领导们的支持买个虚拟机先体验下.由于刚买的机器,环境都得自己摸索,瞎搞过很多次,也走过很多弯路,所以我就记录下从裸机安装深度学习环境的正确过程.(全程root用户哦!) 裸机简介 服务器是阿里云的CentOS7.4,默认的时候选择的CUDA驱动选错了,1.5以上的tensorflow都应该选择CUDA9.0,注意不要太高,也不要太低!TF很挑剔! 先来聊聊裸机里面包含什么有用的东西:

包括: 理解卷积神经网络 使用数据增强缓解过拟合 使用预训练卷积网络做特征提取 微调预训练网络模型 可视化卷积网络学习结果以及分类决策过程 介绍卷积神经网络,convnets,深度学习在计算机视觉方面广泛应用的一个网络模型. 卷积网络介绍 在介绍卷积神经网络理论以及神经网络在计算机视觉方面应用广泛的原因之前,先介绍一个卷积网络的实例,整体了解卷积网络模型.用卷积网络识别MNIST数据集. from keras import layers from keras import models mode

http://wallstreetcn.com/node/248376 借助深度学习,多处理层组成的计算模型可通过多层抽象来学习数据表征( representations).这些方法显著推动了语音识别.视觉识别.目标检测以及许多其他领域(比如,药物发现以及基因组学)的技术发展.利用反向传播算法(backpropagation algorithm)来显示机器将会如何根据前一层的表征改变用以计算每层表征的内部参数,深度学习发现了大数据集的复杂结构.深层卷积网络(deep convolutional