一.spark SQL:类似于Hive,是一种数据分析引擎 什么是spark SQL? spark SQL只能处理结构化数据 底层依赖RDD,把sql语句转换成一个个RDD,运行在不同的worker上 特点: 1.容易集成:SQL语句 2.对不同的数据源提供统一的访问方式:DataFrame 用DataFrame屏蔽数据源的差别 3.兼容Hive 大纲: 核心概念:DataFrame(看作表):就是表,是Spark SQL对结构化数据的抽象集合 表现形式:RDD 表=表结构+数据 DataFra

Apache Kylin™是一个开源的分布式分析引擎,提供Hadoop/Spark之上的SQL查询接口及多维分析(OLAP)能力以支持超大规模数据,最初由eBay Inc. 开发并贡献至开源社区.它能在亚秒内查询巨大的Hive表. KYLIN是什么? - 可扩展超快OLAP引擎:  Kylin是为减少在Hadoop/Spark上百亿规模数据查询延迟而设计 - Hadoop ANSI SQL 接口:  Kylin为Hadoop提供标准SQL支持大部分查询功能 - 交互式查询能力:  通过Kylin

基于Azure构建PredictionIO和Spark的推荐引擎服务 1. 在Azure构建Ubuntu 16.04虚拟机 假设前提条件您已有 Azure 帐号,登陆 Azure https://portal.azure.com . 点击左上部的 +New 按钮,在搜索框中输入 Ubuntu ,或者点击 Virtual Machine 选择 Ubuntu Server 14.04 LTS,然后点击 Create 创建虚拟机. 创建完成虚拟机后,在虚拟机的设置中找到 Azure 为其分配的 IP

http://fuxiaopang.gitbooks.io/learnelasticsearch/content/  (中文) 在Elasticsearch中,文档术语一种类型(type),各种各样的类型存在于一个索引中.你也可以通过类比传统的关系数据库得到一些大致的相似之处: 关系数据库 ⇒ 数据库 ⇒ 表 ⇒ 行 ⇒ 列(Columns) Elasticsearch ⇒ 索引 ⇒ 类型 ⇒ 文档 ⇒ 字段(Fields)一个Elasticsearch集群可以包含多个索引(数据库),也就是说其

Azure构建PredictionIO和Spark的推荐引擎服务 1. 在Azure构建Ubuntu 16.04虚拟机 假设前提条件您已有 Azure 帐号,登陆 Azure https://portal.azure.com .点击左上部的 +New 按钮,在搜索框中输入 Ubuntu ,或者点击 Virtual Machine 选择 Ubuntu Server 14.04 LTS,然后点击 Create 创建虚拟机. 创建完成虚拟机后,在虚拟机的设置中找到 Azure 为其分配的 IP 地址,

ylbtech-软件-分布式:Kylin (apache开源分布式分析引擎软件) Apache Kylin™是一个开源的分布式分析引擎,提供Hadoop之上的SQL查询接口及多维分析(OLAP)能力以支持超大规模数据,最初由eBay Inc. 开发并贡献至开源社区.它能在亚秒内查询巨大的Hive表. 1.返回顶部 1. 中文名:麒麟 外文名:Kylin 类    别:软件 软件许可:Apache License 开源协议 软件领域:大数据领域 用    途:基于Hadoop的SQL分析引擎 2.

1.Impala简介 • Cloudera公司推出,提供对HDFS.Hbase数据的高性能.低延迟的交互式SQL查询功能. • 基于Hive使用内存计算,兼顾数据仓库.具有实时.批处理.多并发等优点 • 是CDH平台首选的PB级大数据实时查询分析引擎 官网:http://www.cloudera.com/products/apache-hadoop/impala.html http://www.impala.io/index.html 下面是在基于单用户和多用户查询的时候,不同的查询分析器所使用

话说在<Spark源代码分析之五:Task调度(一)>一文中,我们对Task调度分析到了DriverEndpoint的makeOffers()方法.这种方法针对接收到的ReviveOffers事件进行处理.代码例如以下: // Make fake resource offers on all executors     // 在全部的executors上提供假的资源(抽象的资源.也就是资源的对象信息,我是这么理解的)     private def makeOffers() {       /

本文翻译自Building Analytics Engine Using Akka, Kafka & ElasticSearch,已获得原作者Satendra Kumar和网站授权. 在这篇文章里,我将和大家分享一下我用Scala.Akka.Play.Kafka和ElasticSearch等构建大型分布式.容错.可扩展的分析引擎的经验. 我的分析引擎主要是用于文本分析的.输入有结构化的.非结构化的和半结构化的数据,我们会用分析引擎对数据进行大量处理.如下图所示为第一代架构,分析引擎可以用REST

1 Spark原理分析 -- RDD的Partitioner原理分析 2 Spark原理分析 -- RDD的shuffle简介 3 Spark原理分析 -- RDD的shuffle框架的实现概要分析 4 Spark原理分析 -- RDD的依赖(Dependencies)原理分析 5 Spark原理分析 -- RDD的checkepointing原理分析 6 Spark原理分析 -- RDD的caching和persistence原理分析 7 Spark原理分析 -- Job执行框架概述 8 Sp

一.总体思路 以上是我在平时工作中分析spark程序报错以及性能问题时的一般步骤.当然,首先说明一下,以上分析步骤是基于企业级大数据平台,该平台会抹平很多开发难度,比如会有调度日志(spark-submit日志).运维平台等加持,减少了开发人员直接接触生成服务器命令行的可能,从物理角度进行了硬控制,提高了安全性. 下面我将带领大家从零到一,从取日志,到在Spark WebUI进行可视化分析相关报错.性能问题的方法. 二.步骤 (一)获取applicationID 1.从调度日志获取 一般企业级大

Presto 是由 Facebook 开源的大数据分布式 SQL 查询引擎,适用于交互式分析查询,可支持众多的数据源,包括 HDFS,RDBMS,KAFKA 等,而且提供了非常友好的接口开发数据源连接器. 介绍 Presto是一个运行在多台服务器上的分布式系统. 完整安装包括一个coordinator和多个worker. 由客户端提交查询,从Presto命令行CLI提交到coordinator. coordinator进行解析,分析并执行查询计划,然后分发处理队列到worker. 完全基于内存的

五.移动平均 多个连续周期的时间序列数据平均值(按相同时间间隔得到的观察值,如每小时一次或每天一次)称为移动平均.之所以称之为移动,是因为随着新的时间序列数据的到来,要不断重新计算这个平均值,由于会删除最早的值同时增加最新的值,这个平均值会相应地“移动”. 例子: java代码: MR方案: 方案1:对于各个规约器键,在RAM种对时间序列数据排序,这个方法存在一个问题:如果没有足够的RAm来完成规约器的排序操作,这种方法就不可行. 方案2:让MRF完成时间序列数据的排序(MR框架的主要特性之一就

七,共同好友. 在所有用户对中找出“共同好友”. eg: a    b,c,d,g b    a,c,d,e map()->  <a,b>,<b,c,d,g> ;<a,c>,<b,c,d,g>;..... <a,b>,<a,c,d,e> reduce()->    <a,b>,<c,d>   也就是a,b的共同好友是c,d. 上述就是思想. 八,使用MR实现推荐引擎 1.购买过该商品的顾客还购买了哪

十三.朴素贝叶斯 朴素贝叶斯是一个线性分类器.处理数值数据时,最好使用聚类技术(eg:K均值)和k-近邻方法,不过对于名字.符号.电子邮件和文本的分类,则最好使用概率方法,朴素贝叶斯就可以.在某些情况下,NBC也可以用来对数值数据分类. 对于数值数据的分类,比如(连续属性,身高,体重,脚长),建议采用采用高斯分布,令x是一个连续属性.首先,按类对数据分段,然后计算各个类中的x的均值(u)和方差(). 本次主要以文本数据进行. 首先先进行Map函数,将数据进行处理. 得到的数据如下: 之后再进行r

​ 编辑切换为居中 添加图片注释,不超过 140 字(可选)   大数据是一种规模大到在获取.存储.管理.分析方面大大超出了传统数据库软件工具能力范围的数据集合,而大数据作为企业运转的基础,只有经过提供数据采集.存储.计算.分析.调度.管理.治理等过程,才能为企业所用.   而海豚调度作为数据调度工具的先行者,深刻理解调度工具缺乏可视化.拓展性差.无法去中心化.稳定性差等痛点问题,能够针对行业工具痛点精准提供解决方案.   在整个大数据时代下,从互联网出行到乳业龙头企业,越来越多的企业随着业务发

Apache Cassandra 数据库近来引起了很多的兴趣,这主要源于现代云端软件对于可用性及性能方面的要求. 那么,Apache Cassandra 是什么?它是一种为高可用性及线性可扩展性优化的分布式的联机交易处理 (OLTP) 数据库.具体说到 Cassandra 的用途时,可以想想你希望贴近用户的系统,比如说让我们的用户进行交互的系统.需要保证实时可用的程序等等,如:产品目录,物联网,医疗系统,以及移动应用.对这些程序而言,下线时间意味着利润降低甚至导致其他更坏的结果.Netfilix

SparkSQL作为分布式查询引擎:两种方式 SparkSQL作为分布式查询引擎:Thrift JDBC/ODBC服务 SparkSQL作为分布式查询引擎:Thrift JDBC/ODBC服务 SparkSQL作为分布式查询引擎: beeline SparkSQL作为分布式查询引擎: Spark SQL CLI 自定义函数 注册udf

之前分析过spark RPC的基本流程(spark RPC详解),其实无论是RPC还是Spark内部的数据(Block)传输,都依赖更底层的网络通信,本文将对spark的网络通信做一下剖析. 1,概要 对于大数据相关的基础组件(Hadoop,HBase,Spark,Kafka),网络通信部分主要有两类:Java NIO和Netty.对于Hadoop,Spark,HBase以及kafka具体使用情况如下表: 大数据组件 Java NIO Netty Hadoop ✔️   Spark   ✔️ H

介绍 Spork是Pig on Spark的highly experimental版本号,依赖的版本号也比較久,如之前文章里所说.眼下我把Spork维护在自己的github上:flare-spork. 本文分析的是Spork的实现方式和详细内容. Spark Launcher 在hadoop executionengine包路径下,写了一个Spark启动器,同MapReduceLauncher类似,会在launchPig的时候,把传入的物理运行计划进行翻译. MR启动器翻译的是MR的操作,以及进