Ubuntu 12.04下spark1.0.0 集群搭建（原创）

【Ubuntu 12.04下spark1.0.0 集群搭建（原创）】的更多相关文章

Ubuntu 12.04下spark1.0.0 集群搭建（原创）

spark1.0.0新版本的于2014-05-30正式发布啦,新的spark版本带来了很多新的特性,提供了更好的API支持,spark1.0.0增加了Spark SQL组件,增强了标准库(ML.streaming.GraphX)以及对JAVA和Python语言的支持: 下面,我们首先进行spark1.0.0集群的安装,在这里我使用了两台服务器,一台作为master即namenode主机,另一台作为slave即datanode主机,增加更多的slave只需重复slave部分的内容即可.: 系统版本…

Ubuntu 14.04下Hadoop2.4.1集群安装配置教程

一.环境系统: Ubuntu 14.04 64bit Hadoop版本: hadoop 2.4.1 (stable) JDK版本: OpenJDK 7 台作为Master,另3台作为Slave. 所有主机的用户名都为hadoop,密码为123456. 二.网络主机配置配置主机名和局域网IP 主机名与局域网IP地址对应如下: 主机名局域网IP Master 115.156.236.178 Slave1 115.156.236.199 Slave2 115.156.236.189 Sl…

Ubuntu 12.04下安装thrift 0.9

Thrift这里就不介绍了,只说一句--Facebook很牛逼. 我这里安装Thrift主要是为Accumulo数据库作准备,所以java语言为必选项. 具体安装参考官方Apache Thrift Requirements. 1,安装ant和ivy ,配置环境变量下载ant和ivy安装包(我这里北京理工的镜像比较快): http://mirror.bit.edu.cn/apache/ant/binaries/apache-ant-1.9.1-bin.tar.gz http://mirror.b…

Ubuntu 12.04下Hadoop 2.2.0 集群搭建（原创）

现在大家可以跟我一起来实现Ubuntu 12.04下Hadoop 2.2.0 集群搭建,在这里我使用了两台服务器,一台作为master即namenode主机,另一台作为slave即datanode主机,增加更多的slave只需重复slave部分的内容即可. 系统版本: master:Ubuntu 12.04 slave:Ubuntu 12.04 hadoop:hadoop 2.2.0 安装ssh服务:sudo apt-get install ssh 有时也要更新一下vim:sudo apt-ge…

Ubuntu 12.04下GAMIT10.40安装说明

转载于:http://www.itxuexiwang.com/a/liunxjishu/2016/0225/164.html?1456481297 Ubuntu 12.04下GAMIT10.40安装步骤: 1 首先就是Gamit软件——gamit.tar.gz的准备,大概64M:2 将下载的gamit.tar.gz复制到 opt/gamit10.40/下面,这里需要建立文件夹10.40,sudo mkdir gamit10.40;3 安装Cshell.sudo apt-get install c…

Angularjs学习---angularjs环境搭建,ubuntu 12.04下安装nodejs、npm和karma

1.下载angularjs 进入其官网下载:https://angularjs.org/‎,建议下载最新版的:https://ajax.googleapis.com/ajax/libs/angularjs/1.3.0-beta.7/angular.js 所有版本:https://code.angularjs.org/ 2.示例1 HelloWorld ! 新建一个helloworld.html <!doctype html> <html ng-app> <head> &…

[转]ubuntu(12.04)下，命令，内核源代码的获取

[转]ubuntu(12.04)下, 命令 ,内核源代码的获取 http://blog.chinaunix.net/uid-18905703-id-3446099.html 1.命令:例如:要查看ls命令的源代码 1) whereis ls ls: /bin/ls /usr/share/man/man1/ls.1.gz 2) sudo dpkg -S /bin/ls coreutils: /bin/ls 3) sudo apt-g…

Ubuntu 12.04 下安装 Eclipse

方法一:(缺点是安装时附加openjdk等大量程序并无法去除,优点是安装简单) $ sudo apt-get install eclipse 方法二:(优点是安装内容清爽,缺点是配置麻烦)1.安装JDK,参考 Ubuntu 12.04 下安装 JDK 7 2.下载 Eclipse 从 http://www.eclipse.org/downloads/index-developer.php下载合适版本,如:Eclipse IDE for C/C++ Developers 3.解压文件$ sudo…

升级Ubuntu 12.04下的gcc到4.7

我们知道C++11标准开始支持类内初始化(in-class initializer),Qt creator编译出现error,不支持这个特性,原因在于,Ubuntu12.04默认的是使用gcc4.6,而只有gcc4.7才支持C++11,使用如下办法升级Ubuntu 12.04下的gcc : 更新Ubuntu源g++-4.rarsudo add-apt-repository ppa:ubuntu-toolchain-r/test sudo apt-get update sudo apt-get…

ubuntu 12.04下安装Qt出现cannot execute binary file的解决方案

最近在ubuntu 12.04下安装QT的过程中,遇到一个问题. ./qt-opensource-linux-x64-5.7.0.run出现了bash: ./qt-opensource-linux-x64-5.7.0.run: cannot execute binary file. 我用我自己的解决方案分享给大家,同时也为自己以后做个笔记. 第一:查看Linux当前操作系统名称(信息).命令:uname -a出现下面这个:Linux ubuntu 3.5.0-23-generic #35~pre…

在Ubuntu 12.04下采用apt-get的方法安装Qt4

在Ubuntu 12.04下采用apt-get的方法安装Qt4 注:之前发表的一篇博客是采用编译源码的方式安装Qt4,这是很有用的方式,因为源码安装对于所有系统都是通用的,其次,在使用交叉编译器的时候,必须源码安装的方式,所以掌握源码安装是很重要的方式,不过在平时的应用中,编译源码的方法实在是太慢了,而我们只是要做普通的应用或者测试,那么对于Ubuntu平台完全可以使用apt-get安装,不过这种方式安装的话,版本是无法控制的,这点要注意,目前是默认的是4.8.1版本,下面是步骤. 运行: 一.…

在Ubuntu 12.04下编译qtiplot

不在windows下,再加上不想用盗版,所以需要一个origin的替代品——qtiplot.虽然我非常抵抗用这种不停点来点去的软件,用R的ggplot2画图多好啊,高效.优雅.漂亮,但是终抵不过老板一句“这个图你用origin画”. 有公司编译出了qtiplot的deb包,但是缺少一些功能,比如不能导出数据,这太坑爹了!好吧,我只有自己来编译.哪儿知道它有太多的依赖,并且头文件包含还不能紧跟时代. 解压源代码后复制build.conf.example为build.conf,然后在里面把库的链接改…

在Ubuntu 12.04下创建eclipse的桌面链接

在Ubuntu 12.04下创建eclipse的桌面链接作者:凯鲁嘎吉 - 博客园 http://www.cnblogs.com/kailugaji/ 在Ubuntu 12.04上安装Hadoop并运行中已介绍如何安装jdk与eclipse,这篇文章将介绍如何在桌面创建快捷方式并使用eclipse. Ubuntu 12.04使用了Unity界面,在桌面左侧侧多了一个启动器栏.我们可以将自己常用的软件在启动器栏放一个图标,实现快速地启动.启动器栏的每一个图标实际上都对应了/usr/share/a…

Ubuntu 12.04下安装QQ 2012 Beta3(转)

Ubuntu 12.04下安装QQ 2012 Beta3 由于wine的发展非常迅速.现在网上的利用老版本的wine来安装QQ2012的教程已经有些过时了.实际上操作起来非常简单: 第一步:Ctrl+Alt+t 打开终端,输入以下命令: sudo apt-get update www.2cto.com sudo apt-get install wine 安装时间稍微有点长,需要注意的是中间有个软件包配置的图形界面,需要用户使用Tab键选定“OK”,然后继续下一步的安装.不要停留在这里…

[转载] Ubuntu 12.04下安装git,SSH及出现的Permission denied解决办法

如何安装ssh http://os.51cto.com/art/201109/291634.htm 仅需要阅读至成功开启ssh服务即可 http://www.linuxidc.com/Linux/2013-06/85336.htm Ubuntu 12.04下安装git,SSH及出现的Permission denied解决办法 1 首先到git-hub网站创建一个账号. 2 在终端中安装git 3 生成ssh密钥 4 在github上添加密钥复制SSH密钥在网站的SSH中添加公钥 5 测试可…

Ubuntu 12.04下安装QQ 2012 Beta3

Ubuntu 12.04下安装QQ 2012 Beta3 由于wine的发展非常迅速.现在网上的利用老版本的wine来安装QQ2012的教程已经有些过时了.实际上操作起来非常简单: 第一步:Ctrl+Alt+t 打开终端,输入以下命令: sudo apt-get update www.2cto.com sudo apt-get install wine 安装时间稍微有点长,需要注意的是中间有个软件包配置的图形界面,需要用户使用Tab键选定“OK”,然后继续下一步的安装.不要停留在这…

Ubuntu 12.04下安装OpenCV 2.4.2

http://sourceforge.net/projects/opencvlibrary/files/ Ubuntu 12.04下安装OpenCV 2.4.2 http://blog.csdn.net/lqhbupt/article/details/7913513…

Ubuntu_10.04下Hadoop-0.20.2集群配置手册

Ubuntu_10.04下Hadoop-0.20.2集群配置手册一.软硬件环境的准备下面的文章来自hadoopor.com,我先交待一下我自己的环境: 两台机器,每台机器上面两个虚机(vmware 均以桥接方式,也就是说4个虚机都有各自独立的内网IP)都是ubuntu10.04,宿主机都是windowsxp,用SecureCRT(严重推荐,好使)连接各个副机.最后按下文配置,成功运行~另:机器之间的文件用SCP命令吧,好使~~~ ///////////////////////////////…

Redis 5.0.5集群搭建

Redis 5.0.5集群搭建一.概述 Redis3.0版本之后支持Cluster. 1.1.redis cluster的现状目前redis支持的cluster特性: 1):节点自动发现 2):slave->master 选举,集群容错 3):Hot resharding:在线分片 4):进群管理:cluster xxx 5):基于配置(nodes-port.conf)的集群管理 6):ASK 转向/MOVED 转向机制. 1.2.redis cluster 架构 1)redis-clust…

Linux下MySQL/MariaDB Galera集群搭建过程【转】

MariaDB介绍 MariaDB是开源社区维护的一个MySQL分支,由MySQL的创始人Michael Widenius主导开发,采用GPL授权许可证. MariaDB的目的是完全兼容MySQL,包括API和命令行,使之能轻松成为MySQL的代替品. 详细介绍请参考链接: http://mariadb.org/(官网) http://baike.baidu.com/link?url=dFJ-My-I52YFc1mx26K804LPwZrcEWCwB4IqfA4-soYx6295BZLIe7bE…

在 Ubuntu 12.04 上安装 GitLab6.0

安装环境: 操作系统: Ubuntu 12.4 LTS 英文数据库: mysql5.5.32 web服务器: nginx1.4.1 首先, 添加git和nginx的ppa,并升级系统到最新. sudo apt-add-repository ppa:git-core/ppa sudo add-apt-repository ppa:nginx/stable Software Up to Date 然后, 安装vim,并设为默认编辑器. # Install vim and set…

ubuntu18.04 flink-1.9.0 Standalone集群搭建

集群规划 Master JobManager Standby JobManager Task Manager Zookeeper flink01 √ √ flink02 √ √ flink03 √ √ √ flink04 √ √ √ 前置准备克隆4台虚拟机网络配置 vim /etc/netplan/01-network-manager-all.yaml 修改配置文件集群网络配置如下: # flink01 network: version: 2 renderer: NetworkManage…

Andorid开发学习---ubuntu 12.04下搭建超好用的安卓模拟器genymotion 安装卸载virtualbox 4.3

什么是Genymotion? Genymotion是一套完整的工具,它提供了Android虚拟环境.它简直就是开发者.测试人员.推销者甚至是游戏玩家的福音. Genymotion支持Windows.Linux和Mac OS等操作系统,容易安装和使用:按简单的安装过程,选择一款Android虚拟设备,开启后就体验Genymotion带来的快感吧.-----引自百度百科一.下载并安装genymotion 1.下载genymotion http://www.genymotion.cn/#theme=…

Ubuntu 12.04下搭建Qt开发环境

http://download.qt.io/official_releases/qt/ Ubuntu 环境下Gtk与Qt编译环境安装与配置(系统环境是Ubuntu 12.04) 1.配置基础开发环境GCC 刚装好的系统中已经有GCC了,但是这个GCC几乎什么文件都不能编译,因为缺少一些必须的头文件,所以要安装build-essential这个软件包.可以在新立得里面搜索build-essential或输入下面命令: sudo apt-get install build-essential程序示例…

[转] Ubuntu 12.04下LAMP安装配置 (Linux+Apache+Mysql+PHP)

我是一个Linux新手,想要安装一台Ubuntu 12.04版的Linux服务器,用这台服务器上的LAMP套件来运行我自己的个人网站.LAMP套件就是 “Linux+Apache+Mysql+PHP这四款软件组成了一个可以使网站运行的套装工具软件.”通过安装尝试,我获得了一些成功的安装配置经验, 通过本文提供给Linux网站服务器系统的入门者学习.本次安装的网站软件环境中将使用Apache2网页服务软件.MySQL5网站后台数据库软件.以及PHP5角本解释语言软件,配置成的系统也可提供FTP服…

【linux】UBUNTU 12.04下傻瓜式简单安装arm-linux-gcc等gnu arm toolchain交叉编译工具

欢迎转载,转载时请保留作者信息,谢谢. 邮箱:tangzhongp@163.com 博客园地址:http://www.cnblogs.com/embedded-tzp Csdn博客地址:http://blog.csdn.net/xiayulewa 原文链接: http://blog.csdn.net/xiayulewa/article/details/19784793 这篇文章是我写的,xiayuleWA 是我在csdn的账号. 1. 验证无误的工具链安装(能正常编译linux,busy…

ubuntu 12.04下搭建web服务器(MySQL+PHP+Apache) 教程

最近,经理让我搭建一个服务器,我从网上找了一篇比较好的教程,按教程一步步执行感觉挺顺利,所以准备整理一下这个教程.尊重原版注明出处:http://news.2ky.cn/Linux/ubuntu-12.04-web-server.htm 1.开始说明下面很多可能参照网上其中以为前辈的,但有所改进吧.这些设置可能会有所不同,你需要根据不同情况进行修改. 安装apache2 2.切换管理员身份在ubuntu中需要用root身份进行操作,所以用下面的命令确保以root身份登录: sudo su 3…

ubuntu18.04 基于Hadoop3.1.2集群的Hbase2.0.6集群搭建

前置条件: 之前已经搭好了带有HDFS, MapReduce,Yarn 的 Hadoop 集群链接: ubuntu18.04.2 hadoop3.1.2+zookeeper3.5.5高可用完全分布式集群搭建上传tar包并修改配置文件解压tar包到指定目录 tar -zxvf hbase-2.0.6-bin.tar.hz -C /opt/ronnie 进入配置目录 vim hbase-env.sh 修改 hbase-env.sh文件 # 添加jdk路径 export JAVA_HOME=/u…

Ubuntu 12.04 下安装 VirtualBox 及虚拟机winxp的安装

参考文档: http://wenku.baidu.com/view/a51ac26c9b6648d7c1c746d7.html 1.首先,先去官网(http://www.virtualbox.org)下载所需的.对应的 VitrualBox (Linux 下的 Ubuntu 版),本文以目前最新版 virtualbox-4.2_4.2.4-81684~Ubuntu~precise_i386.deb 为例.[注意软件包名,Ubuntu 后面的单词是“precise”] 2.然后,下载相应版本的 V…

Ubuntu 12.04下LAMP环境搭建实录

方法一: 用tasksel可以方便安装dns server, lamp, kubuntu desktop, ubuntu desktop, xubuntu之类的软件包.这个软件在ubuntu server里是预装的,而在桌面版里是不预装的,想用的话得安装一下: apt-get install tasksel 用这个软件的话就用命令: tasksel 安装lamp环境: tasksel install lamp-server 通过命令 tasksel 可查看LAMP安装是否成功.需要指出的是,通过…