为了将Hadoop和Spark的安装简单化,今日写下此帖. 首先,要看手头有多少机器,要安装伪分布式的Hadoop+Spark还是完全分布式的,这里分别记录. 1. 伪分布式安装 伪分布式的Hadoop是将NameNode,SecondaryNameNode,DataNode等都放在一台机器上执行,Spark同理,一般用于开发环境. 1.1 准备工作 系统准备:一台Ubuntu16.04机器,最好能够联网 准备好四个安装包:jdk-8u111-linux-x64.tar.gz,scala-2.1…

目录 [TOC] 1.CDH介绍 1.1.什么是CDH和CM? CDH一个对Apache Hadoop的集成环境的封装,可以使用Cloudera Manager进行自动化安装. Cloudera-Managerceql(本文中简称CM)是一个工具,CM能够管理一个大的Hadoop cluster并不是一只要下载tar files什么压缩并启动services这么简单.后续有非常多设定.监控等麻烦的事要处理,CM都能够做到,有些类似Casti.Cloudera Manager整合了一列的功能让系统…

在ubuntu16.04+python3.5情况下安装nltk,以及gensim时pip3安装不成功的解决办法,我刚开始因为不太会用linux命令,所以一直依赖于python 的pip命令,可是怎么都安装不成功,所以就从官网上下载好解压包,然后手动安装(下面以nltk为例,gensim类似) 第一步:https://pypi.python.org/pypi/nltk,下载完成后通常会在你的下载目录,但是一般的话你最好将他重新移一个目录,然后在进行解压安装 root@gao-Lenovo:~# p…

配置完成后: sudo apt-get update 安装和删除软件: sudo apt-get install sudo apt-get remove buntu14.04和16.04官方默认更新源sources.list和第三方源推荐(干货!) 写在前面:笔者由于还在学校学习,学校没有开发给Linux用的上网客户端,所以只能用在windows系统中通过安装虚拟机运行linux比较方便,但没有外网,只有学校的教育网,所以我需要将ubuntu的默认源修改为教育网中的资源才可以完美运行ubuntu…

CentOS 6系统下安装 JDK1.6 JDK(Java Development Kit)是Sun Microsystems针对Java开发员的产品.自从Java推出以来,JDK已经成为使用最广泛的Java SDK.JDK 是整个Java的核心,包括了Java运行环境,Java工具和Java基础的类库.下面我们就来学习如何在CentOS系统下安装 JDK. 一.CentOS系统创建安装目录 #mkdir /usr/java 二.下载 先去 www.oracle.com 网站寻找到 最新jdk1…

本篇文章主要介绍在centos7 环境下安装jdk1.8并配置环境变量. 安装步骤 1.下载网址   https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 2.上传到linux系统opt目录下,我使用的软件是WinSCP 3.解压 tar -zxvf jdk-8u201-linux-x64.tar.gz 4.重命名 mv jdk1.8.0_201 jdk1.8 5.修改环境变量 先…

Linux下安装jdk1.7 1.进入 /usr/local下创建一个文件夹software,用来存放安装包. [root@192 ~]# cd /usr/local/ 2.创建文件夹 [root@192 local]# mkdir software 3.把安装包上传到Linux上的software文件夹下.如果是用xshell工具的话,可以键盘按rz+回车来上传 4.在local目录下创建java文件夹 [root@192 local]# mkdir java 5. 把jdk的安装包解压到 j…

Change default network name (ens33) to old “eth0” on Ubuntu 18.04 / Ubuntu 16.04 By Raj Last updated May 18, 2018 37 11   Just after the Ubuntu installation, I came to know that the network interface name got changed to ens33 from old school eth0. RE…

----------------CentOS6.5下安装JDK1.7+MYSQL5.5+TOMCAT7+nginx1.7.5环境安装文档----------------------- [JDK1.7安装] 1)登录Sun的JDK官方下载网 址:http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html 2)下载jdk-7u67-linux-x64.rpm文件 >删除系统自带OpenJDK…

由于官网服务器在国外,下载速度奇慢,所以我们可以利用阿里云镜像下载ubuntuubuntu 14.04:http://mirrors.aliyun.com/ubuntu-releases/14.04/ ubuntu 16.04:http://mirrors.aliyun.com/ubuntu-releases/16.04/ ubuntu 18.04:http://mirrors.aliyun.com/ubuntu-releases/18.04/没错,只要市面上存在的版本,阿里云镜像基本都有,下载…

本文会详细介绍如何在Linux下安装JDK1.8 首先要设置虚拟机的IP地址,不知道如何设置的话可以 翻看我的前一篇博客   http://www.cnblogs.com/xiaoxiaoSMILE/p/6927617.html 设置好虚拟机的IP地址之后,就可以开始在Linux下安装JDK1.8了 大家有没有这种感觉,用Linux自带的命令界面不好操作,这时候你可以用  XSHELL5 百度下载很方便的,用这个可以使用复制功能还有传输文件等等,反正蛮好用的 好了,基本准备工作就基本这些,然后我…

Linux(CentOS7) 下安装 jdk1.8 操作过程. 一.检查是否自带jdk rpm -qa|grep java 如果存在则用下面命令删除,xxx yyy zzz代表查询出来的自带jdk名称,名称中间用空格隔开,至今为止没碰到过自带的. rpm -e --nodeps xxx yyy zzz 二.下载jdk上传 推荐从 jdk官网 下载,虽然下载需要登录(密码设置还麻烦),并且下载速度不是很快,但是安全,此处使用 jdk8 的最后一个商业免费版本 jdk-8u202-linux-x64…

http://www.cnblogs.com/xqzt/p/4395053.html Windows下安装Oracle Database 12c Release 1(12.1.0.2.0) - Enterprise Edition…

Windows下安装Oracle Database 12c Release 1(12.1.0.2.0) 最近因需要在Oracle 数据库上建立ODI的资料档案库,需要安装Oracle Database 12c Release 1(12.1.0.2.0) - Enterprise Edition . 软件下载 http://www.oracle.com/technetwork/database/enterprise-edition/downloads/index.html?ssSourceSite…

16.04有很多好处.在此不说了 这几天来回折腾了各种的云,然后发现国内的都没有16.04 但是ubuntu可以直接在线升级 在此记下来升级的过程 不管是腾讯云也好 阿里云也好,或者别的什么云,只要是国内的 几乎都不提供ubuntu16.04的镜像,但是我们可以在线升级 下面是过程记录 1. 买vps装ubuntu14.04 怎么买? 这个就不说 要是都不会买 还是去玩LOL吧 下面是重点 如果你是阿里云 那么直接跳到3,如果是别的什么云 比如腾讯云那就需要改apt-get源了 2. 改apt-…

不多说,直接上干货! 写在前面:笔者由于还在学校学习,学校没有开发给Linux用的上网客户端,所以只能用在windows系统中通过安装虚拟机运行linux比较方便,但没有外网,只有学校的教育网,所以我需要将ubuntu的默认源修改为教育网中的资源才可以完美运行ubuntu,当然这个教程也适用于修改为非教育源. 第一步,备份官方的默认源 避免自己手贱操作失误,重装系统太费时间 cp /etc/apt/sources.list /etc/apt/sources.list.bak 此命令是备份该官方源…

Ubuntu操作系统下如何手动安装JDK1.7呢?本文是我经历的全过程. Ubuntu版本:12.04 LTS JDK版本:1.7.0_04 安装目录:/usr/local/development/jdk1.7.0_04 安装JDK1.7的过程 1. 打开网址http://www.oracle.com/technetwork/java/javase/downloads/jdk-7u4-downloads-1591156.html,下载相应的JDK文件. 2. 将下载的文件解压缩到/usr/loc…

首先说明下我的主机环境:主机:32位win7 虚拟机:VMware Workstation10.0.1 linux:红帽子centos6.4 jdk1.7 Apache-tomcat7 java环境需要有jdk,第一步要先安装jdk Jdk的安装 1.解压或安装 .gz包 #tar -zxvf jdk-7u9-linux-i586.tar.gz 解压后的目录如:jdk1.7.0_09 将其复制或移动到/usr目录下 #mv jdk1.7.0_09 /usr .rpm包 #rpm -ivh jdk…

转自:http://vela.diandian.com/post/2012-01-06/15379924 最近呢,想玩玩jdk1.7,不过mac平台下的jvm一直都是Apple自己改的,所有有些麻烦.这篇文章呢,就是一个详细的步骤,教你如何在mac下安装和使用jdk1.7.当然了,和你想象的一样,我是不会写什么有技术含量的文章的,所以只是一个简单的guide. 首 先呢,为了少出问题,先要让平台装一个java,Snow Leopard下还好(默认就有),Lion的话默认是没有安装任何jvm的,安…

安装JDK1.7 1. 打开网址http://www.oracle.com/technetwork/java/javase/downloads/jdk-7u5-downloads-1591156.html,下载相应的JDK文件. 2. 将下载的文件解压缩到/usr/local/java/目录. #cd /usr/local/java/ #tar -xzvf /root/Downloads/jdk-7u55-linux-x64.tar.gz 3. 创建文件/etc/profile.d/java-d…

相信码农们绝对禁不住linux系统的诱惑,同样在linux的世界里少不了java,下面笔者就和大家分享一下我的jdk1.8安装过程吧,新接触linux的童鞋们完全可以按照我提供的图片中的命令来安装哦-- 工具/原料   jdk-8-linux-i586.gz 方法/步骤   1 第一步:下载Linux环境下的jdk1.8,请去(官网)中下载jdk的安装文件: 由于我的Linux是32位的,因此我下载jdk-8u25-linux-i586.tar.gz文件. 如下图所示: 2 第二步:新建/usr…

步骤1:查看Linux自带的JDK是否已安装 (卸载CentOS已安装的JDK)  安装好的CentOS会自带OpenJDK,用命令"java -version"查看,会有下面的信息: …

本文主要介绍的是如何是Linux环境下安装JDK的,因为Linux环境下,很多时候也离不开Java的,下面笔者就和大家一起分享如何jdk1.8的过程吧. 一.安装环境 操作系统:Red Hat Enterprise Linux 6 64 位(版本号6.6) JDK版本:1.8 工具:Xshell5.Xftp5 说明:本文是通过Xshell5工具远程连接Linux操作,如果是直接在Linux可视化界面操作那就更方便了,原理一样. 二.安装步骤 第一步:下载安装包 下载Linux环境下的jdk1.8…

卸载rpm版的jdk: #rpm -qa|grep jdk 显示:jdk1.6.0_29-fcs 卸载:#rpm -e --nodeps jdk1.6.0_29-fcs 1.从sun公司网站www.sun.com下载linux版本的jdk,要求jdk版本1.6.比如我们下载的版本是jdk-6u29-linux-x64-rpm.bin 2.将jdk-6u29-linux-x64-rpm.bin 文件sftp(SSH File Transfer Protocol)至目标服务器上,将jdk-6u29-…

一.安装环境 操作系统 Windows7 Enterprise 64位 需要用到的软件 JDK:jdk-8u60-linux-x64.rpm Glassfish: Glassfish4.1.1.zip 二.安装准备 将主机上的jdk文件复制到虚拟机上. 第一种方式:安装了VMTools后,直接将windows下的文件拖到centOS下的桌面上.然后通过mv命令或者cp命令把文件移动或拷贝到其他文件夹下. 第二种方式:设置文件夹共享 把windows下存放安装文件的文件夹加到共享文件目录下,操作如…

centos7.0这里安装jdk1.8采用yum安装方式,非常简单. 1.查看yum库中jdk的版本 [root@localhost ~]# yum search java|grep jdk 2.选择java-1.8.0安装 [root@localhost ~]# yum install java-1.8.0-openjdk* 3.配置环境变量 [root@localhost ~]# vi /etc/profile 这里jdk1.8.0的文件夹路径是/usr/lib/jvm/java-1.8.0…

qt-x11-commercial-src-4.3.1.tar.gz.kdevelop-3.5.0.tar.bz2在Fedora 8下安装. 安装KDevelop:安装KDevelop3.5要求,KDE3.4以上版本.gdb6.6以上版本.Qt3.3.2以上Qt4以下版本. 安装gdb6.6tar xvfz gdb-6.6.tar.bz2cd gdb-6.6./configuremakemake install 安装kdevelop-3.5.0.tar.bz2tar xvfz kdevelop-…

注:之前本人写了一篇SparkR的安装部署文章:SparkR安装部署及数据分析实例,当时SparkR项目还没正式入主Spark,需要自己下载SparkR安装包,但现在spark已经支持R接口,so更新了这篇文章. 1.Hadoop安装 参考: http://www.linuxidc.com/Linux/2015-11/124800.htm http://blog.csdn.net/sa14023053/article/details/51952534 yarn-site.xml <propert…

笔者环境:腾讯云服务器 Ubuntu16.04 x64 一 . 去oracle官网下载对应的jdk 下载地址:http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 二 . 把下载的jdk压缩包上传到云服务器上 1.下载WinSCP(用于将文件上传至云服务器上) 2.打开WinSCP并登录 3.把文件移动到右边 三.解压安装包 jdk-8u102-linux-x64.tar.gz 1.…

对于Hadoop和Spark的开发,最常用的还是Eclipse以及Intellij IDEA. 其中,Eclipse是免费开源的,基于Eclipse集成更多框架配置的还有MyEclipse.Intellij分为Community版和Ultimate版,前者免费,后者付费.付费版同样是集成了更多的框架便于开发,主要是针对web开发人员.这里我们讲述两个IDE的配置方法,并推荐使用Intellij完成配置.首先需要明确的是,本文的配置是基于Java语言,基于Scala语言配置Spark开发环境在In…