I---- 1---jdk and scala install ****zyp@ubuntu:~/Desktop/software$ tar xvf jdk-7u67-linux-i586.tar.gz ****vim ~/.bashrc (vim /etc/profile false) # # JAVA_HOME 2015.12.18 binary x64 or i386(uname -a) 112 export JAVA_HOME=/usr/lib/jvm/jdk1.7_586 113 ex…

01.Spark安装与配置 1.hadoop回顾 Hadoop是分布式计算引擎,含有四大模块,common.hdfs.mapreduce和yarn. 2.并发和并行 并发通常指针对单个节点的应对多个请求的能力,是单一节点上计算能力的衡量,并行通常针对集群来讲,是利用多个节点进行分布式协同作业,我们称之为并行计算. 3.Spark 快如闪电集群计算引擎,应用于大规模数据处理快速通用引擎,使用内存计算. Speed 内存计算速度是hadoop的100倍以上,硬盘计算是Hadoop是10倍以上,Spa…

本来想用Eclipse的.然而在网上找了一圈,发现大家都在说IntelliJ怎样怎样好.我也受到了鼓励,遂决定在这台破机器上鼓捣一次IntelliJ吧. Spark程序远程调试,就是将本地IDE连接到Spark集群中.让程序一边执行,一边通过debuger实时查看执行情况,配置好以后和本地debug差点儿相同. 之前有写过Spark集群的安装部署.http://blog.csdn.net/u013468917/article/details/50979184当时是在hadoop2.2.0平台部署…

Spark 介绍 核心概念 Spark 是 UC Berkeley AMP lab 开发的一个集群计算的框架,类似于 Hadoop,但有很多的区别. 最大的优化是让计算任务的中间结果可以存储在内存中,不需要每次都写入 HDFS,更适用于需要迭代的 MapReduce 算法场景中,可以获得更好的性能提升. 例如一次排序测试中,对 100TB 数据进行排序,Spark 比 Hadoop 快三倍,并且只需要十分之一的机器. Spark 集群目前最大的可以达到 8000 节点,处理的数据达到 PB 级别…

个人主页:http://www.linbingdong.com 简书地址:http://www.jianshu.com/p/a7f75b868568 简介 本文主要记录如何安装配置Hive on Spark,在执行以下步骤之前,请先确保已经安装Hadoop集群,Hive,MySQL,JDK,Scala,具体安装步骤不再赘述. 背景 Hive默认使用MapReduce作为执行引擎,即Hive on mr.实际上,Hive还可以使用Tez和Spark作为其执行引擎,分别为Hive on Tez和Hi…

标签(空格分隔): Spark 学习中的知识点:函数式编程.泛型编程.面向对象.并行编程. 任何工具的产生都会涉及这几个问题: 现实问题是什么? 理论模型的提出. 工程实现. 思考: 数据规模达到一台机器无法处理的时候,如何在有限的时间内对整个数据集进行遍历及分析? Google针对大数据问题提出的一些解决方案: MapReduce: 计算框架: GFS:数据存储 BigTable:NoSQL始祖. Hadoop是根据MapReduce和GFS两大论文所做的开源实现,因此,它主要解决2大问题:数…

Visual Studio.net 2010 Windows Service 开发,安装与调试 本示例完成一个每隔一分钟向C:\log.txt文件写入一条记录为例,讲述一个Windows Service 程序的开发,安装与调试     原程序,加文档示例下载 /Files/zycblog/SourceCode.rar 目录索引 1  开发工具 2  开发过程 3  安装 4  开发调试 5  注意事项 6  参考资料 1. 开发工具 1.1 Visual Stuo.net 2010 1.2 Wi…

  1. 简介 本文介绍ubuntu14.04下nodejs+npm+bower的安装.调试和部署 参考文档 https://docs.npmjs.com/getting-started https://github.com/npm/npm/issues/ 另外: Windows nodejs版本https://nodejs.org/download/release/latest/node-v5.5.0-x64.msi Windows下ide可选用WebStorm-10.0.2.exe 2.  …

安装软件: openfire3.9.3 spark2.6.3 安装环境: WindowsXP JDK1.6.0_21 Oracle 一.openfire安装 1.安装openfire3.9.3,下载地址:http://www.igniterealtime.org/downloads/index.jsp#spark 2.安装界面选择中文 3.安装结束启动openfire服务器 4.到此已安装成功,输入http://localhost:9090即可访问管理页面. 二.openfire配置 1.浏览器…

接前文postgresql编译安装与调试(一),继续说说postgresql的编译安装与调试. 上一篇已经详细说明了如何在Linux系统上编译安装postgresql,这次我们在此基础上简单讲讲如何在linux系统上调试和追踪代码. 我记得之前看过一篇关于posgresql的文章,postgresql最早只有20万左右的代码量,而如今已经过100万行了,如此巨大的代码量,在没有纲领的前提下简直是盲人摸象. 为方便调试工作,在进入具体的调试之前,我们先来好好了解下postgresql的代码体系结构…