编者的话:本文对数据挖掘概念的产生,数据挖掘与常规数据分析的主要区别,所能解决的几大类问题和所应用的领域都有着非常清晰的论述.作者在此篇文章中认为数据挖掘最重要的要素是分析人员的相关业务知识和思维模式.丰富的业务知识是设计有效的相关变量的必要条件,而分析人员的思维模式从另外一个方面也保障了设计变量的结构化和完整性.所以我们在掌握丰富的业务知识同时,如果能够按照正确的思维模式去思考问题,将会发现解决问题并不是很困难的. 一.           数据挖掘的本质 一般来说,比较狭义的观点认为数据挖掘…

深入浅出谈存储之NAS是什么 2012年02月17日16:42 来源:新浪博客 作者:林沛满 编辑:曾智强 查看全文 赞(0)评论(0) 分享 标签: NAS , 企业NAS , 存储系统 [IT168 技术] IT男们经常受到两个消息的折磨:好消息是,有姑娘主动打来电话了;坏消息是,她们只是想让你帮忙装个电脑而已. 这是多么令人沮丧的事情,因为你最多花10分钟在香闺连好线,姑娘们就要打发你回家了(关于如何尽量在香闺里拖延时间,我们另文讨论).很多姑娘想不到的是,没把这个热心的IT男留住,可能就…

深入浅出谈存储:如何区别NAS.SAN与DAS 2012年02月17日16:51 来源:新浪博客 作者:林沛满 编辑:曾智强 查看全文 赞(0)评论(1) 分享 标签: DAS , SAN , 存储系统 [IT168 技术] 上一篇<NAS是什么?>发表后,评论如雪花般飘来.这本是每位作者所乐意看到的,令我哭笑不得的是,多数读者只看了开头的笑话就留言走人了.唯有一位让我聊感欣慰,因为他说“/陈老师专题”里的几百兆图片他也有.还好“/陈老师专题”出现在文章的末尾.这悲剧也提醒了我,技术文档不要过…

CUDA 深入浅出谈           “CUDA 是 NVIDIA 的 GPGPU 模型,它使用 C 语言为基础,可以直接以大多数人熟悉的 C 语言,写出在显示芯片上执行的程序,而不需要去学习特定的显示芯片的指令或是特殊的结构.”         “CUDA 是 NVIDIA 的 GPGPU 模型,它使用 C 语言为基础,可以直接以大多数人熟悉的 C 语言,写出在显示芯片上执行的程序,而不需要去学习特定的显示芯片的指令或是特殊的结构.” CUDA是什么?能吃吗? 编者注:NVIDIA的GeF…

一.本课程是怎么样的一门课程(全面介绍) 1.1.课程的背景           “大数据”作为时下最火热的IT行业的词汇,随之而来的数据仓库.数据分析.数据挖掘等等围绕大数据的商业价值的利用逐渐成为行业人士争相追捧的利润焦点. “大数据” 其实离我们的生活并不遥远,大到微博的海量用户信息,小到一个小区超市的月销售清单,都蕴含着大量潜在的商业价值. 正是由于数据量的快速增长,并且已经远远超过了人们的数据分析能力.因此,科学.商用等领域都迫切需要智能化.自动化的数据分析工具.在这样的背景下,数据挖…

一.时间序列数据挖掘 时间序列是数据存在的特殊形式,序列的过去值会影响到将来值,这种影响的大小以及影响的方式可由时间序列中的趋势周期及非平稳等行为来刻画.一般来讲,时间序列数据都具有躁声.不稳定.随机性等特点,对于这类数据的预测方法目前主要有自动回归滑动平均(ARMA)和神经网络等,但这些方法有一些缺点是很难克服的,ARMA包含的是线性行为,对于非线性的因素没有包含;而神经网络的结构需要事先指定或应用启发式算法在训练过程中修正;同时神经网络得到的解是局部最优而非全局最优.比较而言支持向量机( S…

一.什么是数据挖掘?许多人认为数据挖掘更像是一门哲学,或数学的组成部分,而不是业务需求的实际解决方案.您可以从采用的各种定义中看出这一点,例如:“数据挖掘是对非常大型的数据进行的研究和分析,采用自动或半自动的程序,找出先前未知的.有趣的.可理解的相关性.”或者“数据挖掘是指对数据中固有的先前未知的潜在有用信息的重要提取.”这些定义都有各自的道理.尽管数据挖掘本身就是一门学科,但它的出现还不到10 年时间,其起源可追溯到二十世纪五十年代人工智能的早期发展.在此期间,模式识别和基于规则推理的发展提供…

常说4G网速能达100MHz,实际感受远远没有这么快.今天和大家一起算算帐,算算4G LTE网速到底有多快. 基本概念1:资源粒子 个资源粒子就是用个子载波传送个OFDM符号. 1个子载波的带宽是15kHz. 1个OFDM符号可以容纳2/4/个数据位. :1个资源粒子最多传送个数据位. 基本概念2:资源块 个资源块就是个子载波传送个时隙(0.5ms). 1组(12个)子载波共占用180kHz的带宽. 个时隙(0.5ms)内,1个子载波可以传送或7个资源粒子,12个子载波可以传送72或84个资源粒…

…

最新在一个项目中要求用到微软SSAS中的数据挖掘功能,虽然以前做项目的时候也经常用到SSAS中的多维数据集 (就是CUBE),但是始终没有对SSAS中的数据挖掘功能进行过了解.所以借着项目需求这股东风最近了解了下SSAS的数据挖掘,这里先写一篇博客做一个简要的归纳. 说到数据挖掘,我们首先需要知道SSAS数据挖掘能干什么,为什么需要进行数据挖掘.我们先来看一个例子假设我们数据库中现在有一张表叫CustomersBoughtCarsSurvey,这张表记录了公司客户购买车辆的信息. CREATE…

前言 此篇为微软系列挖掘算法的最后一篇了,完整该篇之后,微软在商业智能这块提供的一系列挖掘算法我们就算总结完成了,在此系列中涵盖了微软在商业智能(BI)模块系统所能提供的所有挖掘算法,当然此框架完全可以自己扩充,可以自定义挖掘算法,不过目前此系列中还不涉及,只涉及微软提供的算法,当然这些算法已经基本涵盖大部分的商业数据挖掘的应用场景,也就是说熟练了这些算法大部分的应用场景都能游刃有余的解决,每篇算法总结包含:算法原理.算法特点.应用场景以及具体的操作详细步骤.为了方便阅读,我还特定整理一篇目录:…

前言 有段时间没有进行我们的微软数据挖掘算法系列了,最近手头有点忙,鉴于上一篇的神经网络分析算法原理篇后,本篇将是一个实操篇,当然前面我们总结了其它的微软一系列算法,为了方便大家阅读,我特地整理了一篇目录提纲篇:大数据时代:深入浅出微软数据挖掘算法总结连载,我打算将微软商业智能中在DM这块所用到的算法全部集中在这个系列中,每篇包含简要算法原理.算法特点.应用场景以及具体的操作详细步骤,基本能涵盖大部分的商业数据挖掘的应用场景,有兴趣的童鞋可以点击查阅.本篇我们将要总结的算法为:Microsoft…

前言 本篇文章继续我们的微软挖掘系列算法总结,前几篇文章已经将相关的主要算法做了详细的介绍,我为了展示方便,特地的整理了一个目录提纲篇:大数据时代:深入浅出微软数据挖掘算法总结连载,有兴趣的童鞋可以点击查阅,在开始Microsoft 神经网络分析算法之前,本篇我们先将神经网络分析算法做一个简单介绍,此算法由于其本身的复杂性,所以我打算在开始之前先将算法原理做一个简单的总结,因为本身该算法就隶属于高等数学的研究范畴,我们对算法的推断和验证过程不做研究,只介绍该算法特点以及应用场景,且个人技术能力有…

前言 本篇文章继续我们的微软挖掘系列算法总结,前几篇文章已经将相关的主要算法做了详细的介绍,我为了展示方便,特地的整理了一个目录提纲篇:大数据时代:深入浅出微软数据挖掘算法总结连载,有兴趣的童鞋可以点击查阅,本篇我们将要总结的算法为:Microsoft顺序分析和聚类分析算法,此算法为上一篇中的关联规则分析算法的一个延伸,为关联规则分析算法所形成的种类进行了更细粒度的挖掘,挖掘出不同种类内部的事例间的顺序原则,进而用以引导用户进行消费. 应用场景介绍 Microsoft顺序分析和聚类分析算法,根据…

(一) 窗口的定义:指为用户指定的一组行,也称着"分区".如下图所示的窗口分区.每一个班级看作是一个数据窗口,一共有三个窗口 (二)窗口计算的相关方法 1)over()用法  格式:函数名(列) over(选项) OVER关键字表示把函数当成开窗函数而不是聚合函数.SQL标准允许将所有聚合函数用做开窗函数,使用OVER关键字来区分这两种用法. (三)案例分析 (1) 查询工资小于5000元的员工信息(城市以及年龄),并且在每行中都显示所有工资小于5000元的员工个数 CREATE TA…

http://www.educity.cn/tx/429084.html 互联网技术DAS.NAS和SAN存储方案的比较 按照设备位置和接入方式,磁盘存储可以分为内置存储和外挂存储,外挂存储又分为直连存储和网络存储(Fabric-Attached Storage,FAS)等方式,如图10-31所示. yxr注:其实是存储历史发展的一个过程,从附属部分走向独立,从单独硬件走向网络! 1.DAS与NAS存储方案的比较 DAS是大型服务器主要采用的外挂存储方式,由于存储利用率和扩展的原因, DAS必须…

一.前言 在学习The Apriori algorithm算法时,参考了多篇博客和一篇论文,尽管这些都是很优秀的文章,但是并没有一篇文章详解了算法的整个流程,故整理多篇文章,并加入自己的一些注解,有了下面的文章.大部分应该是copy各篇博客和翻译了论文的重要知识. 关联规则的目的在于在一个数据集中找出项之间的关系,也称之为购物蓝分析 (market basket analysis).例如,购买鞋的顾客,有10%的可能也会买袜子,60%的买面包的顾客,也会买牛奶.这其中最有名的例子就是"尿布和啤酒…

<MATLAB数据分析与挖掘实战>是泰迪科技在数据挖掘领域探索10余年经验总结与华南师大.韩山师院.广东工大.广技师   等高校资深讲师联合倾力打造的巅峰之作.全书以实践和实用为宗旨,深度与广度兼顾,实践与理论并举.     本书特色:本书作者从实践出发,结合大量数据挖掘工程案例及教学经验,以真实案例为主线,深入浅出介绍数据挖掘建   模过程中的有关任务:数据探索.数据预处理.分类与预测.聚类分析.时序预测.关联规则挖掘.智能推荐.偏差检测等.   因此,图书的编排以解决某个应用的挖掘目标为前…

CUDA编程(六) 进一步并行 在之前我们使用Thread完毕了简单的并行加速,尽管我们的程序运行速度有了50甚至上百倍的提升,可是依据内存带宽来评估的话我们的程序还远远不够.在上一篇博客中给大家介绍了一个訪存方面非常重要的优化.我们通过使用连续的内存存取模式.取得了令人惬意的优化效果,终于内存带宽也达到了GB/s的级别. 之前也已经提到过了,CUDA不仅提供了Thread.还提供了Grid和Block以及Share Memory这些非常重要的机制,我的显卡的Thread极限是1024,可是通过…

作者:MingChaoSun 原文:https://blog.csdn.net/sunmc1204953974/article/details/51000970 一.CPU和GPU 上图是CPU与GPU的对比图,对于浮点数操作能力,CPU与GPU的能力相差在GPU更适用于计算强度高,多并行的计算中.因此,GPU拥有更多晶体管,而不是像CPU一样的数据Cache和流程控制器.这样的设计是因为多并行计算的时候每个数据单元执行相同程序,不需要那么繁琐的流程控制,而更需要高计算能力,这也不需要大cach…

胖子哥(1106110976) 9:35:36 http://www.cnblogs.com/hadoopdev/p/3531963.htmlnosqlt数据库-肖(380594863) 9:38:05 理论啊,没啥干货. 10:49:04彼岸蔷薇加入本群nosqlt数据库-肖(380594863) 10:51:11 寂静的群啊 厂商联盟李光伟(7854251) 10:51:45 厂商联盟_Michelle(2085867176) 10:52:13 nosqlt数据库-肖(380594863) …

CUDA编程(十) 使用Kahan's Summation Formula提高精度 上一次我们准备去并行一个矩阵乘法.然后我们在GPU上完毕了这个程序,当然是非常单纯的把任务分配给各个线程.也没有经过优化.终于我们看到,执行效率相当的低下,可是更重要的是出现了一个我们之前做整数立方和没遇到的问题,那就是浮点数精度损失的问题. 关注GPU运算的精度问题: 在程序的最后.我们计算了精度误差,发现最大相对误差偏高,而一般理想上应该要低于 1e-6. 我们之前将评估CUDA程序的时候也提过了.精度是CU…

CUDA编程(二) CUDA初始化与核函数 CUDA初始化 在上一次中已经说过了,CUDA成功安装之后,新建一个project还是十分简单的,直接在新建项目的时候选择NVIDIA CUDA项目就能够了,我们先新建一个MyCudaTest project.删掉自带的演示样例kernel.cu.然后新建项,新建一个CUDA C/C++ File ,我们首先看一下怎样初始化CUDA,因此我命名为InitCuda.cu 首先我们要使用CUDA的RunTime API 所以 我们须要include cud…

原文链接:http://blog.csdn.net/augusdi/article/details/12205435 作者专栏:http://blog.csdn.net/augusdi/article/category/1663451 (一): VS10设置 在开始学习之前,首先要做的就是找到一本好的教材,要知道一本好的教材可以让我们更加轻松地入门.在看了一些个CUDA编程相关的教材之后,我向大家推荐的一本教材叫做<GPU高性能编程CUDA实战>.本教材相比其他的教材而言,它讲得比较细,对于一…

CUDA02 - 的内存调度与优化 前面一篇(传送门)简单介绍了CUDA的底层架构和一些线程调度方面的问题,但这只是整个CUDA的第一步,下一个问题在于数据的访存:包括数据以何种形式在CPU/GPU之间进行通信.迁移,以及在GPU内部进行存储.访问. 1 global .shared .constant.local 通常来讲,待计算的数据都存放在内存或者硬盘(外部存储设备)中,由CPU来进行调度.想要在device上计算.处理数据,就首先需要将数据转移至CUDA,这样的转移操作通常需要经过数据总…

VC++动态链接库(DLL)编程深入浅出(zz) 1.概论 先来阐述一下DLL(Dynamic Linkable Library)的概念,你可以简单的把DLL看成一种仓库,它提供给你一些可以直接拿来用的变量.函数或类.在仓库的发展史上经历了"无库-静态链接库-动态链接库"的时代. 静态链接库与动态链接库都是共享代码的方式,如果采用静态链接库,则无论你愿不愿意,lib中的指令都被直接包含在最终生成的EXE文件中了.但是若使用DLL,该DLL不必被包含在最终EXE文件中,EXE文件执行时可…

“我们把世界看成数学,并且把你也看成数学”——用这句话来说明数据挖掘技术的复合性和应用的广泛性似乎再好不过.如今,虽然一些行业在应用这一技术上仍然缺乏足够的主动,但一个不能阻挡的趋势是:已经有越来越多的人在快乐并有效地使用这一技术,同时不由自主地成为“挖掘”的对象. 禽流感该如何更好地监控?今天你写Blog了吗? 你是否觉得这两个问题连在一起问很无厘头? 事实上,美国一家公司正在试图让这两个事件之间的关系日渐明了.这家公司目前正在通过从全球的Blog网页中挖掘出和禽流感相关的信息,从而建立一个预…

NO.1 Data Mining 和统计分析有什么不同? 硬要去区分Data Mining和Statistics的差异其实是没有太大意义的.一般将之定义为Data Mining技术的CART.CHAID或模糊计算等等理论方法,也都是由统计学者根据统计理论所发展衍生,换另一个角度看,Data Mining有相当大的比重是由高等统计学中的多变量分析所支撑.但是为什么Data Mining的出现会引发各领域的广泛注意呢?主要原因在相较于传统统计分析而言,Data Mining有下列几项特性: 1.处理…

Mahout简介 Mahout 是 Apache Software Foundation(ASF) 旗下的一个开源项目, 提供一些可扩展的机器学习领域经典算法的实现,旨在帮助开发人员更加方便快捷地创建智能应用程序 Mahout相关资源 Mahout主页:http://mahout.apache.org/ Mahout 最新版本0.8下载: http://mirrors.hust.edu.cn/apache/mahout/0.8/ 使用mahout-distribution-0.8.tar.g…

声明:本文指的是做数据挖掘这行,不是数据仓库 我干这行有几年了,见了很多人,干了很多公司,爆一爆这个行业的状况吧……让后来人有所了解,也让猎头挖人挖的有点方向,起码和candidates聊天的时候不至于什么也不清楚谈不明白,不清楚价值,等等 个人的经验,干这行最重要的第一是人,第二是项目,绝对的人才加上做合适的项目才能成长起来,其余都是扯淡的,就算理论知识再完备,没有机遇也难以成长. 目录: 1-哪些公司主要招这个行业的人 2-这个行业的基本待遇如何 3-以后的发展之路 4-如何成为混合型人才…