在linux上安装spark ,前提要部署了hadoop,并且安装了scala. 提君博客原创 对应版本 >>提君博客原创  http://www.cnblogs.com/tijun/  << 名称 版本 JDK 1.8.0 hadoop 2.6.0 scala 2.11.0 spark 2.2.0 第一步,下载  https://spark.apache.org/downloads.html 第二步,解压 tar -zxvf spark--bin-hadoop2..tgz 第三步

本文主要讲解如何在Linux环境下安装Spark集群,安装之前我们需要Linux已经安装了JDK和Scala,因为Spark集群依赖这些.下面就如何安装Spark进行讲解说明. 一.安装环境 操作系统:Red Hat Enterprise Linux 6 64 位(版本号6.6) JDK版本:1.8 Scala版本:2.12.2 Spark版本:2.2.0 172.18.3.135 主节点 172.18.3.136 从节点 172.18.3.137 从节点 之后的操作如果是用普通用户操作的话也必

一.介绍和安装 /*一.linux:? 为什么要学习它. 常见的操作系统? 1.windows, linux,mac 使用命令行进行操作 Windows cmd Linux 和Mac 中的命令行是 shell(一种语言,shell工程师.) 2.Linux 和Mac 底层内核是类Unix,他们是单线程的.(运行速度很快.) 在Linux中是不分盘的,根据目录进行划分. 3.所有的java项目,都是部署在Linux上面.并且所有的中间件,也都部署在Linux上面. 1.因为 Linux非常快,使用

linux安装mysql全纪录[包括yum和rpm安装,编码,远程连接以及大小写问题] 一.查看mysql是否已经安装 使用“whereis mysql”命令来查看mysql安装路径: [root@hadoop01 ~]# whereis mysql mysql: /usr/bin/mysql /usr/lib64/mysql /usr/share/mysql /usr/share/man/man1/mysql.1.gz 使用前提是你的MySQL不是解压版的,而是rpm包或者使用yum命令安装的

1 Debian 安装 ssh2 首先确保你的Debian或者linux安装ssh并开启ssh服务 Debian和ubuntu的安装方法一样,只要源OK的话,可以直接安装 apt-get install openssh-server 启动SSH服务 /etc/init.d/ssh start 如果是非管理员用户请使用 su 命令切换到 root 用户执行. 2 windows 安装 SecureCRT 网上下载SecureCRT直接安装即可. 只需要输入IP,protocol选择SSH2即可,端

Linux下安装 ]# wget http://download.redis.io/releases/redis-2.8.17.tar.gz ]# .tar.gz ]# cd redis- ]# make 启动redis服务 ]# cd src ]# ./redis-server 上面这种启动 redis使用的是默认配置,也可以通过启动参数告诉redis使用指定配置 ]# ./redis-server redis.config 连接redis [root@localhost src]# ./re

一.Redis介绍 1.简介 Redis是当前比较热门的NOSQL系统之一,它是一个key-value存储系统.和Memcache类似,但很大程度补偿了Memcache的不足,它支持存储的value类型相对更多,包括string.list.set.zset和hash.这些数据类型都支持push/pop.add/remove及取交集并集和差集及更丰富的操作.在此基础上,Redis支持各种不同方式的排序.和Memcache一样,Redis数据都是缓存在计算机内存中,不同的是,Memcache只能将数

参考文档:http://spark.apache.org/docs/1.6.0/building-spark.html spark安装需要选择源码编译方式进行安装部署,cdh5.10.0提供默认的二进制安装包存在未知问题,如果直接下载spark二进制安装文件,配置完成后会发现启动spark及相关使用均会报错. 编译spark需要联网,spark使用scala语言编写,所以运行spark需要scala语言,上一步已经安装了scala,scala使用java编写,所以安装scala需要jdk支持,上

linux安装单机版redis已经在另一篇文章说过了,下边来搞集群,环境是新浪云服务器: redis3.0以后开始支持集群. 前言:redis用什么做集群? 用一个叫redis-trib.rb的ruby脚本.redis-trib.rb是redis官方推出的管理redis集群的工具,集成在redis的源码src目录下(redis-xxx/src/).是基于redis提供的集群命令封装成简单.便捷.实用的操作工具.redis-trib.rb是redis作者用ruby完成的.所以redis集群需要先安

版本号: RedHat6.5   RHEL 6.5系统安装配置图解教程(rhel-server-6.5) JDK1.8      http://blog.csdn.net/chongxin1/article/details/68957808 Hadoop2.7.3    RedHat6.5上安装Hadoop单机 scala-2.11.8 spark-2.1.1-bin-hadoop2.7 1 安装Spark依赖的Scala Hadoop的安装请参考上面提到的博文,因为Spark依赖scala,所

版本号: RedHat6.5   RHEL 6.5系统安装配置图解教程(rhel-server-6.5) JDK1.8      http://blog.csdn.net/chongxin1/article/details/68957808 Hadoop2.7.3   RedHat6.5上安装Hadoop集群 scala-2.11.8 spark-2.1.1-bin-hadoop2.7 1 安装Spark依赖的Scala Hadoop的安装请参考上面提到的博文,因为Spark依赖scala,所以

(安装spark集群的前提是服务器已经配置了jdk并且安装hadoop集群(主要是hdfs)并正常启动,hadoop集群安装可参考<hadoop集群搭建(hdfs)>) 1.配置scala环境 详细配置过程可参考<linux安装scala环境>,此处就不在详细描述 2.下载spark安装包 因为我之前安装的hadoop是3.0版本的,所以spark我使用的是spark-2.3.0版本 wget https://www.apache.org/dyn/closer.lua/spark/

以后开发都是要用linux,所以就安装了ubuntu,也是第一次用linux的系统.装的是win7+Ubuntu16.04的双系统. 安装过程如下:我用的是U盘安装,参看http://www.jianshu.com/p/2eebd6ad284d. 记得在提示重启的地方,拔掉U盘,也就是下面这个提示的时候: 拔掉U盘后,重启系统进入win系统,设置EasyBCD,参考:http://blog.csdn.net/coderjyf/article/details/51241919 安装好Ubuntu以

结构如下: Redis 官方不建议Redis安装在WINDOWS 服务器上(尤其是生产中分布式事物缓存). linux 下Redis 5.0主从复制(一主二从)哨兵模式的搭建:https://www.cnblogs.com/hmwh/p/10089430.html linux 下Redis 5.0主集群搭建:https://www.cnblogs.com/hmwh/category/1321360.html 1.新特性如下: 1.新的Stream数据类型.https://redis.io/top

一.安装Spark <Spark2.4.0入门:Spark的安装和使用> 博客地址:http://dblab.xmu.edu.cn/blog/1307-2/ 1.1 基础环境 1.1.1 安装Spark之前需要安装: Linux系统 Java环境(Java8或JDK1.8以上版本) Hadoop环境 Hadoop安装教程地址:http://dblab.xmu.edu.cn/blog/install-hadoop/ 按照这个教程,就可以完成JDK和Hadoop这二者的安装 1.1.2 安装JDK

安装spark ha集群 1.默认安装好hadoop+zookeeper 2.安装scala 1.解压安装包 tar zxvf scala-2.11.7.tgz 2.配置环境变量 vim /etc/profile #scala export SCALA_HOME=/opt/scala-2.11.7 #CLASSPATH export CLASSPATH=$CLASSPATH:$SCALA_HOME/lib #PATH export PATH=$PATH:$SCALA_HOME/bin 保存退出

以前写过一篇文章介绍过Symantec Backup Exec 2012 Agent For Linux安装安装,今天介绍一下Symantec Backup Exec 2010 Agent For Linux安装,关于赛门铁克的Backup Exec的功能请看下面主要功能和主要优势介绍.有兴趣的可以参考官网介绍:http://www.symantec.com/zh/cn/backup-exec. 现在最新的版本是Symantec Backup Exec 2014. 主要功能 使用单个解决方案保护

需要下载的软件: 1.hadoop-2.6.4.tar.gz 下载网址:http://hadoop.apache.org/releases.html 2.scala-2.11.7.tgz 下载网址:http://www.scala-lang.org/ 3.spark-1.6.0-bin-hadoop2.6.tgz 下载网址:http://spark.apache.org/ 4.jdk-8u73-linux-x64.tar.gz 下载网址:http://www.oracle.com/technet

接着上回说道,我把双系统做好啦,开心.... 之后我就在想几个问题: 1.在Ubuntu装好后,重启电脑却还是win7,等我用EasyBCD之后,才可选择使用装好的Ubuntu呢? 2.在用EasyBCD时,为什么device要选择boot挂载点呢? 3.在分区的时候,我只看到了/dev/sda1. /dev/sda5. /dev/sda6…,那sda2,sda3,sda4都哪去了? 4.分区又是怎么回事,怎么才能何理的进行分区呢? 几个概念: 硬盘的扇区:硬盘上面的一种单位,大小为512Byt

由于之前已经在机房IDC安装了Anyconnect的VPN服务环境(参考:Anyconnect的VPN环境部署(1)-OpenConnect server(ocserv)服务安装)今天介绍下在linux客户机上连接Anyconnect服务: 1)yum安装openconnect[root@FangFull-backup ~]# wget http://dl.fedoraproject.org/pub/epel/epel-release-latest-6.noarch.rpm[root@FangF