对于Hadoop和Spark的开发,最常用的还是Eclipse以及Intellij IDEA. 其中,Eclipse是免费开源的,基于Eclipse集成更多框架配置的还有MyEclipse.Intellij分为Community版和Ultimate版,前者免费,后者付费.付费版同样是集成了更多的框架便于开发,主要是针对web开发人员.这里我们讲述两个IDE的配置方法,并推荐使用Intellij完成配置.首先需要明确的是,本文的配置是基于Java语言,基于Scala语言配置Spark开发环境在In…

配置完成后: sudo apt-get update 安装和删除软件: sudo apt-get install sudo apt-get remove buntu14.04和16.04官方默认更新源sources.list和第三方源推荐(干货!) 写在前面:笔者由于还在学校学习,学校没有开发给Linux用的上网客户端,所以只能用在windows系统中通过安装虚拟机运行linux比较方便,但没有外网,只有学校的教育网,所以我需要将ubuntu的默认源修改为教育网中的资源才可以完美运行ubuntu…

Change default network name (ens33) to old “eth0” on Ubuntu 18.04 / Ubuntu 16.04 By Raj Last updated May 18, 2018 37 11   Just after the Ubuntu installation, I came to know that the network interface name got changed to ens33 from old school eth0. RE…

由于官网服务器在国外,下载速度奇慢,所以我们可以利用阿里云镜像下载ubuntuubuntu 14.04:http://mirrors.aliyun.com/ubuntu-releases/14.04/ ubuntu 16.04:http://mirrors.aliyun.com/ubuntu-releases/16.04/ ubuntu 18.04:http://mirrors.aliyun.com/ubuntu-releases/18.04/没错,只要市面上存在的版本,阿里云镜像基本都有,下载…

为了将Hadoop和Spark的安装简单化,今日写下此帖. 首先,要看手头有多少机器,要安装伪分布式的Hadoop+Spark还是完全分布式的,这里分别记录. 1. 伪分布式安装 伪分布式的Hadoop是将NameNode,SecondaryNameNode,DataNode等都放在一台机器上执行,Spark同理,一般用于开发环境. 1.1 准备工作 系统准备:一台Ubuntu16.04机器,最好能够联网 准备好四个安装包:jdk-8u111-linux-x64.tar.gz,scala-2.1…

一.系统环境 os : Ubuntu 16.04 LTS 64bit jdk : 1.8.0_161 hadoop : 2.6.4 部署时使用的用户名为hadoop,下文中需要使用用户名的地方请更改为自己的用户名. 二.安装步骤 1.安装并配置ssh 1.1 安装ssh 输入命令:  $ sudo apt-get install openssh-server  ,安装完成后使用命令 $ ssh localhost 登录本机.首次登录会有提示,输入yes,接着输入当前用户登录电脑的密码即可. 1.…

16.04有很多好处.在此不说了 这几天来回折腾了各种的云,然后发现国内的都没有16.04 但是ubuntu可以直接在线升级 在此记下来升级的过程 不管是腾讯云也好 阿里云也好,或者别的什么云,只要是国内的 几乎都不提供ubuntu16.04的镜像,但是我们可以在线升级 下面是过程记录 1. 买vps装ubuntu14.04 怎么买? 这个就不说 要是都不会买 还是去玩LOL吧 下面是重点 如果你是阿里云 那么直接跳到3,如果是别的什么云 比如腾讯云那就需要改apt-get源了 2. 改apt-…

不多说,直接上干货! 写在前面:笔者由于还在学校学习,学校没有开发给Linux用的上网客户端,所以只能用在windows系统中通过安装虚拟机运行linux比较方便,但没有外网,只有学校的教育网,所以我需要将ubuntu的默认源修改为教育网中的资源才可以完美运行ubuntu,当然这个教程也适用于修改为非教育源. 第一步,备份官方的默认源 避免自己手贱操作失误,重装系统太费时间 cp /etc/apt/sources.list /etc/apt/sources.list.bak 此命令是备份该官方源…

Ubuntu系统默认不允许使用root登录,因此初始root帐户是不能使用的,需要在普通账户下利用sudo权限修改root密码.然后以root帐户进行相关操作. 具体操作: 1.打开系统,用普通帐户登陆进去. 2.进入桌面扣打开终端. 4.在终端输入 sudo passwd root  ,按 Enter .系统会提示输入普通用户的密码(终端输入的密码都是不可见的).输完后,按 Enter ,然后重复两次输入新的root用户密码即可激活root用户. 5.现在可以用 su 在普通用户和root用户…

1  下载 下载地址:http://mirror.bit.edu.cn/apache/hadoop/common/stable2/ 2 解压 将文件解压到 /usr/local/hadoop cd ~/下载 tar -zxf hadoop-.tar.gz sudo mv ./hadoop-/ /usr/local/hadoop cd /usr/local/hadoop 此时可以查看Hadoop版本信息: ./bin/hadoop version   3 hadoop伪分布式配置 3.1 配置ha…