在linux上安装spark ,前提要部署了hadoop,并且安装了scala. 提君博客原创 对应版本 >>提君博客原创  http://www.cnblogs.com/tijun/  << 名称 版本 JDK 1.8.0 hadoop 2.6.0 scala 2.11.0 spark 2.2.0 第一步,下载  https://spark.apache.org/downloads.html 第二步,解压 tar -zxvf spark--bin-hadoop2..tgz 第三步

https://blog.csdn.net/weixin_44293236/article/details/89467489

Linux下svn搭建配置流程     一.    源文件编译安装.源文件共两个,为: 1.   下载subversion源文件 subversion-1.6.1.tar.gz http://d136.d.iask.com/fs/800/1/187a3087a49b71b42ba4d4a300b6278746011506/gz/subversion-1.6.1.tar.gz 2.   下载subversion依赖文件 subversion-deps-1.6.1.tar.gz http://d13

一.Linux下git安装配置 2013-07-28 20:32:10|  分类: 默认分类 |  标签:linux  git  server  |举报|字号 订阅     http://abomby.i.sohu.com/blog/view/168755260.htm http://www.linuxidc.com/Linux/2011-12/48555.htm Git是分布式的版本控制系统,实际上是不需要固定的服务器的,Git与svn的最大区别是,它的使用流程不需要联机,可以先将对代码的修改

Linux环境Hive安装配置及使用 一.Hive Hive环境前提 二.Hive架构原理解析 三.Hive-1.2.2单机安装流程 (1) 解压apache-hive-1.2.2-bin.tar.gz安装包到目标目录下: (2) 为后续方便,重命名Hive文件夹: (3) 修改配置文件: (4) 配置环境变量: (5) 启动 (6) 退出 (7) 配置MySQL元数据库 四.Hive数据类型 五.Hive-DDL(Data Definition Language) (1) 查看数据库 (2)

Linux环境ZooKeeper安装配置及使用 一.ZooKeeper 1.1 zookeeper作用 1.2 zookeeper角色 1.3 zookeeper功能 二.集群规划 三.安装流程 (1)单节点安装--hadoop01 (2)配置zoo.cfg文件 (3)配置参数解读 (4)集群操作 (5)选举机制 四.命令行操作 (1)配置环境变量: (2)启动zookeeper集群 (3)查看zookeeper状态 (4)启动客户端 (5)退出客户端 (6)连接其它机器客户端操作 (7)查看历

Web服务器: IP地址:192.168.21.127 PHP安装路径:/usr/local/php 实现目的: 安装PHP的MongoDB数据库扩展,通过PHP程序连接MongoDB数据库 具体操作: 一.安装PHP的MongoDB数据库扩展(在Web服务器192.168.21.127上操作) 下载地址:http://pecl.php.net/get/mongo-1.5.1.tgz 上传mongo-1.5.1.tgz到/usr/local/src目录 tar  zxvf mongo-1.5.1

分布式文件系统 FastDFS 5.0.5 & Linux CentOS 7 安装配置(单点安装)--第一篇 简介 首先简单了解一下基础概念,FastDFS是一个开源的轻量级分布式文件系统,由跟踪服务器(tracker server).存储服务器(storage server)和客户端(client)三个部分组成,主要解决了海量数据存储问题,特别适合以中小文件(建议范围:4KB < file_size <500MB)为载体的在线服务.FastDFS的系统结构图如下: 如上图,FastD

首先启动Nginx 1. 相关浏览 两个 Tomcat 配置:  VMware Linux 下 Nginx 安装配置 - Tomcat 配置 (二) Nginx 安装配置启动: VMware Linux 下 Nginx 安装配置 (一) 2. 转到 nginx 目录: /usr/local/nginx; 启动 nginx: /usr/local/nginx/nginx ubuntu 前要加 sudo; 关健配置 http 配置块下,一般设置在 zgip on 下: upstream localh

规划: 三台物理服务器就形成了(法定人数).对于高可用性集群,您可以使用高于3的任何奇数.例如,如果设置5台服务器,则集群可以处理两个故障节点等. 物理服务器需要开启的端口 2888 , 3888 和 2181 上有入站连接.如果启用了 IPtables 或 Firewall,请确保启用指定的端口,因为zookeeper 需要通过这些端口进行通信. OS:Centos 7.4 x64Zookeeper-3.4.10 在本教程中,我们将在以下3台服务器部署zookeeper分布式群集: 10.10

Linux环境Hadoop安装配置 1. 准备工作 (1)linux配置IP(NAT模式) (2)linux关闭防火墙 (3)设置主机名 (4)设置映射 (5)设置免密登录 2. 安装jdk (1)上传安装包: (2)解压: (3)配置环境变量: 3. 分发jdk到其他节点 (1)发送文件: (2)验证: 4. 安装hadoop (1)上传安装包: (2)解压: (3)配置环境变量: (4)修改配置文件: (5)修改slaves文件: (6)格式化namenode Hadoop集群结构 HDFS

Linux普通用户安装配置mysql(非root权限) 说明:在实际工作中,公司内网的机器我们一般没有root权限,也没有连网,最近参考网上的资料使用一般的账户成功安装mysql,记录如下 Linux版本:RedHat CentOs Mysql版本:5.7.29 使用的一般用户名:apps 一.下载安装包 进入mysql官网下载社区通用版 MySQL Community Server,不清楚系统多少位的,执行以下命令查看 $ cat /proc/version #查看系统版本等信息 二.解压安装

ODI11G 在Linux上的安装配置 OS环境:Red hat Linux x86_64 一.JDK安装 1. 去oracle官网上下载 http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html 2. 用管理员用户登录 [admin@SPBIETL01 /]# cd usr [admin@SPBIETL01 usr]# mkdir java 3. SFTP到 Linux服务上/usr/

Linux中redis安装配置及使用详解 一. Redis基本知识 1.Redis 的数据类型 字符串 , 列表 (lists) , 集合 (sets) , 有序集合 (sorts sets) , 哈希表 (hashs) 2.Redis的特性 ()使用ANSI C编写 ()遵守BSD协议 ()支持网络 ()可基于内存亦可持久化 ()日志型.Key-Value数据库 通常被称为数据结构服务器,因为其value可以是String,Map,list,set,sorted set 3.特点 支持数据持久

准备工作 相关浏览: VMware Linux 下 Nginx 安装配置 (一) 1. 选在 /usr/local/ 下创建 softs 文件夹,通过 ftp 命令 把 apache-tomcat-7.0.26.tar.gz 拷贝进来: 2. 再在 /usr/local/ 下创建 Tomcat8080以及Tomcat8090 两个文件夹; 将 /softs/apache-tomcat-7.0.26.tar.gz 解压到 local/tomcat8080下; 定位到 softs: softs>.t

centos7: svbversion版本的安装配置+tortoisesvn登录验证 命令工具:svnadmin create #创建版本库 hotcopy #版本库热备份 Islocks #打印所有的锁描述 1.安装 yum -y install subversion 2.新建文件,创建版本库 mkdir /var/svn svnadmin create /var/svn/web_project #创建版本库 svnadmin hotcopy /var/svn/web_project_bak

Linux版本的安装(过于简单了) 安装: ? 1 yum install mysql-server 服务端启动 ? 1 mysql.server start 客户端连接 ? 1 2 3 4 5 6 7 连接:     mysql -h host -u user -p       常见错误:         ERROR 2002 (HY000): Can't connect to local MySQL server through socket '/tmp/mysql.sock' (2), i

个人主页:http://www.linbingdong.com 简书地址:http://www.jianshu.com/p/a7f75b868568 简介 本文主要记录如何安装配置Hive on Spark,在执行以下步骤之前,请先确保已经安装Hadoop集群,Hive,MySQL,JDK,Scala,具体安装步骤不再赘述. 背景 Hive默认使用MapReduce作为执行引擎,即Hive on mr.实际上,Hive还可以使用Tez和Spark作为其执行引擎,分别为Hive on Tez和Hi

1.查看是否已经安装Python Centos7默认安装了python2.7.5 因为一些命令要用它比如yum 它使用的是python2.7.5. 使用python -V命令查看一下是否安装Python: 然后查看一下Python可执行文件的位置: 进入到bin目录: 可以看到可执行文件python指向python2,python2又指向python2.7也就是说Python命令执行的系统预装的Python2.7. 要安装Python的其他版本先执行mv python python.bak命令备

环境说明: 操作系统: centos7 64位 3台 centos7-1 192.168.190.130 master centos7-2 192.168.190.129 slave1 centos7-3 192.168.190.131 slave2 安装spark需要同时安装如下内容: jdk scale 1.安装jdk,配置jdk环境变量 这里不讲如何安装配置jdk,自行百度. 2.安装scala 下载scala安装包,https://www.scala-lang.org/download/

一.安装vmware虚拟机 二.在虚拟机上安装ubuntu12.04操作系统 三.安装jdk1.8.0_25 http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 注意:下载操作系统对应版本的jdk 解压: tar -xzvf jdk-8u25-linux-i586.tar.gz 配置环境变量参数 sudo gedit /etc/profile export JAVA_HOME=/h