数据分析平台

01|数据平台概况图示

上面图中所示就是微软人工智能数据平台的相关的技术。

02.1| Cortana Intelligence Suite

从上面图中可以看到， 其中有一个Cortana Intelligence Suite，翻译过来叫做人工智能套件， 是微软在azure上面对于人工智能的一整套套件。

02|Azure数据湖泊

　　　　数据湖泊解决方案

数据湖泊的解决方案是目前很火的一个解决方案， 主要分为三个步骤， 导入， 存储， 以及分析。其中导入的数据类型可以支持很多种并且存储支持这些数据类型的原生态类型的存储。从分析来看就是会涉及到批处理，交互查询等。

上图中我们看到的azure数据湖泊就是搭建在azure云上的数据湖泊，主要是两个组件： data lake store以及data lake analytics， 学到这个data lake analytics的时候我觉得以后我的工作好像就是跟这个相关的。 它是基于一个开源的YARN的框架，以job和Service提供的数据分析和查询的服务， analytics job as a Service。

无限量体现在以下几个概念： 1.对于单个文件的大size的存储。 2.对于存储数量的方面很大。3. 支持大规模吞吐量并行分析。 4.数据按照原始格式存储，无需重新设计。5.数据导入的方式多样性

job as service的理念的由来是来自于Saas的模式。用户不需要考虑硬件方面以及配置，只需要focus在数据上。U SQL = T SQL + C# || Python，R Library。支持远程查询。

上图技术层面介绍ADLA。

03|HDInsight，Spark & R Service

03.1 | HDInsight：

大数据分析的三种使用场景

1. Batch analytics， 有个短板就是有个delay。

2. Interactive analytics， 基于大数据的

3. RealTime analytics， 适时分析，物联网。kafka实践采集之后使用流分析，最后使用ML将结果发布。

03.2| Spark

这三种使用场景中都用到了 Apache Spark, 下面来介绍一下：

基于spark可以做到下面这些案例，应用很广， 所以显得spark很重要

spark涉及到的算法也都是大数据分析人工智能领域核心的算法：

所以关于spark这里就不多赘述，会在以后的学习中进行系统的学习研究，

 03.3| R Server

这个技术同样我也没有研究过， 这个貌似是一个关于数据计算的技术吧。

03.4| R 与Spark是如何交互的

04|Azure Machine Learning Studio

在azure上面基于图形界面实现的创建和操作ML工作流的集成开发环境，

【AI】微软人工智能学习笔记（一）的更多相关文章

  1. 【AI】微软人工智能学习笔记（二）

    微软Azure机器学习服务 01|机器学习概述 首先上一张图, 这个图里面的大神是谁我也不清楚反正,但是看起来这句话说得很有哲理就贴出来了. 所以在人工智能领域下面的这个机器学习,到底是一个什么样的概 ...

  2. 【AI】微软人工智能学习笔记（三）

    微软R服务 01|开源的R R实际上是统计学的编程语言,主要作用是对数据挖掘,统计,分析,可视化,机器学习等. 02|微软R 03| HDInsight R Spark集群存储在azure blob ...

  3. Python人工智能学习笔记

    Python教程 Python 教程 Python 简介 Python 环境搭建 Python 中文编码 Python 基础语法 Python 变量类型 Python 运算符 Python 条件语句 ...

  4. GIS-"地理空间大数据与AI的碰撞"学习笔记

    1.关系 人工智能>机器学习>神经网络>深度学习 2.机器学习-两个过程 训练/学习过程:样本数据.学习器.模型参数 测试/预测过程:预测.预测值 3.神经网络 机器学习模拟人脑神经 ...

  5. 集智人工智能学习笔记Python#0

    1,学习基本Python语句规范: print('Hello world') print() 为函数 ‘Hello world’为字符串 2,表达式和语句的区别: 表达式有结果,运算就是表达式的一种: ...

  6. AI学习笔记：人工智能与机器学习概述

    一.人工智能基本概念 1.1 基本概念 数据分析:对历史规律的展现.对未来数据的预测. 机器学习:机器学习是指从一系列的原始数据中找到规律,提取人们可以识别的特征,然后通过学习这些特征,最终产生一个模 ...

  7. 游戏人工智能 读书笔记 （四） AI算法简介——Ad-Hoc 行为编程

    本文内容包含以下章节: Chapter 2 AI Methods Chapter 2.1 General Notes 本书英文版: Artificial Intelligence and Games ...

  8. AI学习笔记：特征工程

    一.概述 Andrew Ng:Coming up with features is difficult, time-consuming, requires expert knowledge. &quo ...

  9. 人工智能中小样本问题相关的系列模型演变及学习笔记（二）：生成对抗网络 GAN

    [说在前面]本人博客新手一枚,象牙塔的老白,职业场的小白.以下内容仅为个人见解,欢迎批评指正,不喜勿喷![握手][握手] [再啰嗦一下]本文衔接上一个随笔:人工智能中小样本问题相关的系列模型演变及学习 ...

随机推荐

  1. 微信小程序项目

    大体思想 微信小程序,没有DOM和BOM概念,所以,不会涉及到操作节点.它的主要思想是操作数据,然后改变视图层,即MVVM,如果知道angularJS,能很快的理解上手小程序.   一些开发小程序时, ...

  2. Lua语言特色

    [1]多重赋值 多重赋值规则:若值的个数少于变量的个数,那么多余的变量会被赋值为nil 若值的个数多余变量的个数,那么多余的值会被“悄悄地”丢弃掉. 多重赋值应用示例: a, b = , * prin ...

  3. eclipse 安装和使用AmaterasUML

    1. 安装AmaterasUML前,需要先安装GEF(Eclipse Graphical Editing Framework (GEF)) 采用eclipse在线安装方式安装就好. a. 查看ecli ...

  4. Shell变量相关

    li@ubuntu:~/test$ vi test.sh li@ubuntu:~/test$ cat test.sh #!/bin/bash #shell变量不加引号;加单引号;加双引号都行 url= ...

  5. 大数据学习路线分享-Hbase shell的基本操作完整流程

    HBase的命令行工具,最简单的接口,适合HBase管理使用,可以使用shell命令来查询HBase中数据的详细情况.安装完HBase之后,启动hadoop集群(利用hdfs存储),启动zookeep ...

  6. redis 五大数据类型以及操作

    一.redis的两种链接方式 1.简单连接 import redis conn = redis.Redis(host='10.0.0.200',port=6379) conn.set('k1','年后 ...

  7. Centos7 安装 apache + php7.0 环境

    安装apache rpm -qa|grep httpd   查看是否安装 yum install httpd  安装 service httpd start  启动服务 测试是否 启动       I ...

  8. Linux 执行程序 报错误:Permission denied.

    是对此文件所在位置没有权限导致的 chmod +x /home/yourfile 即可

  9. 理解Sql Server 事务隔离层级(Transaction Isolation Level)

    关于Sql Server 事务隔离级别,百度百科是这样描述的 隔离级别:一个事务必须与由其他事务进行的资源或数据更改相隔离的程度.隔离级别从允许的并发副作用(例如,脏读或虚拟读取)的角度进行描述. 隔 ...

  10. pyglet player sound

    Player = pyglet.media.Player() # our event handling function def on_eos(): print("on player eos ...