大数据中Linux集群搭建与配置
因测试需要,一共安装4台linux系统,在windows上用vm搭建。
对应4个IP为192.168.1.60、61、62、63,这里记录其中一台的搭建过程,其余的可以直接复制虚拟机,并修改相关配置即可。
软件版本选择:
虚拟机:VMware Workstation 12 Pro 版本:12.5.9 build-7535481
Linux:CentOS-7-x86_64-DVD-1804
FTP工具:FileZilla-3.37.4
安装CentOS虚拟机
首先安装虚拟机,成功后重启电脑
新建虚拟机, 配置直接用推荐的经典
选择CentOS的IOS光盘映像
剩下用默认设置,20G硬盘,1G内存,1核CPU
等待加载虚拟机,安装Linxu
语言选择中文

系统安装位置需要进入一次,可以自己分区,不过这里是测试,默认一个区,点击完成

打开自动获取IP

可以在软件选择中指定默认要安装的内容,不过这里因测试,且知道具体安装了什么软件,我这里选择最小安装
设置root账号的密码,输入完毕点击两次完成键,完成配置开始安装,安装完毕重置

配置Linux环境

输入用户名root,输入密码,登录系统
vm上右键虚拟机,设置,修改网络适配器从NAT模式改为桥接模式
安装网络工具,用于配置IP,若报错无法访问,可能是windows服务没启动,启用VMware DHCP Service,VMware NAT Service两个服务
yum install net-tools -y
配置静态IP,最后ens33根据各自具体网卡名字来设置
vi /etc/sysconfig/network-scripts/ifcfg-ens33
按i切换到INSERT模式,修改配置文件如下,将BOOTPROTO的值从dhcp改为static,并且增加ip配置,修改完毕按esc,输入:wq保存退出

启用配置,重启网络服务
systemctl restart network
关闭selinux,打开selinux配置文件
vi /etc/selinux/config
修改SELINUX的值为disabled

关闭防火墙
systemctl stop firewalld
systemctl disable firewalld
安装vsftp用于上传各种文件
yum install vsftpd –y
启用ftp并添加ftp用户
systemctl enable vsftpd
systemctl start vsftpd
useradd ftpuser -s /sbin/nologin
passwd ftpuser
用FileZilla连接,使用普通FTP连接,输入刚创建的ftp用户名密码

配置ssh免密登录
ssh-keygen -t rsa -P ""
cd ~/.ssh
cat id_rsa.pub >> authorized_keys
chmod 0600 authorized_keys
ssh localhost #首次需输入yes,退出登录logout
logout
至此Linux基础环境搭建完毕。
大数据中Linux集群搭建与配置的更多相关文章
- 大数据中Hadoop集群搭建与配置
前提环境是之前搭建的4台Linux虚拟机,详情参见 Linux集群搭建 该环境对应4台服务器,192.168.1.60.61.62.63,其中60为主机,其余为从机 软件版本选择: Java:JDK1 ...
- 大数据中HBase集群搭建与配置
hbase是分布式列式存储数据库,前提条件是需要搭建hadoop集群,需要Zookeeper集群提供znode锁机制,hadoop集群已经搭建,参考 Hadoop集群搭建 ,该文主要介绍Zookeep ...
- 大数据学习——HADOOP集群搭建
4.1 HADOOP集群搭建 4.1.1集群简介 HADOOP集群具体来说包含两个集群:HDFS集群和YARN集群,两者逻辑上分离,但物理上常在一起 HDFS集群: 负责海量数据的存储,集群中的角色主 ...
- 大数据平台Hadoop集群搭建
一.概念 Hadoop是由java语言编写的,在分布式服务器集群上存储海量数据并运行分布式分析应用的开源框架,其核心部件是HDFS与MapReduce.HDFS是一个分布式文件系统,类似mogilef ...
- 大数据-HBase HA集群搭建
1.下载对应版本的Hbase,在我们搭建的集群环境中选用的是hbase-1.4.6 将下载完成的hbase压缩包放到对应的目录下,此处我们的目录为/opt/workspace/ 2.对已经有的压缩包进 ...
- 大数据:spark集群搭建
创建spark用户组,组ID1000 groupadd -g 1000 spark 在spark用户组下创建用户ID 2000的spark用户 获取视频中文档资料及完整视频的伙伴请加QQ群:9479 ...
- 大数据学习——Storm集群搭建
安装storm之前要安装zookeeper 一.安装storm步骤 1.下载安装包 2.解压安装包 .tar.gz storm 3.修改配置文件 mv /root/apps/storm/conf/st ...
- 大数据学习——hadoop集群搭建2.X
1.准备Linux环境 1.0先将虚拟机的网络模式选为NAT 1.1修改主机名 vi /etc/sysconfig/network NETWORKING=yes HOSTNAME=itcast ### ...
- 大数据-spark HA集群搭建
一.安装scala 我们安装的是scala-2.11.8 5台机器全部安装 下载需要的安装包,放到特定的目录下/opt/workspace/并进行解压 1.解压缩 [root@master1 ~]# ...
随机推荐
- Gsoap在QT工程里如何调用
Qt并没有SOAP的官方实现,都是借助三方库来实现,不过似乎有个QtSoap,不过这个不是太会用,所以还是用Gsoap 这里生成纯C文件, 1.下载gSOAP(http://sourceforge.n ...
- tyvj1953 Normal
题目链接 正解:点分治+$FFT$. 很想吐槽一下$bzoj$,为什么搬了别的$oj$的题还设成权限题.. 首先我们考虑期望的线性性,即考虑每个点的贡献. 显然每个点的贡献就是它在点分树上的深度,所以 ...
- 将项目发布到Maven中央仓库的不完整纪要
背景 有几个Utils性质的Jar需要跨项目引用,原本想部署私有Maven仓库,后来感觉太麻烦,索性直接发布到中央库,引用时也方便. 发布成功之后,觉得某些细节还是有必要记录一下. 资源 Sonaty ...
- 【LGP4886 】快递员
题目 好秒啊,真是一道神仙的点分治 于是我们来一个暴力的\(O(nlog^2n)\)的暴力统计吧 考虑计算每一个点作为快递中心时的答案 我们考虑在这个点成为分治重心时计算这个贡献 把这个贡献分成两部分 ...
- 【openjudge】【字符串+模拟】1777:文件结构“图”
[题目传送门:]戳 [描述:] 在计算机上看到文件系统的结构通常很有用.Microsoft Windows上面的"explorer"程序就是这样的一个例子.但是在有图形界面之前,没 ...
- c语言学习——安装
作为颜控,选择了vs2019 工作组件选择c++,vs扩展开发. 默认安装就行了 安装成功,附图
- 第一章 进入java的世界
一.你要做的事情: 1. 编写源代码:xxx.java 2. 编译器编译:检测代码错误 3. 输出:编译器输出xxx.class 4. 运行:java虚拟机运行xxx.class
- 20145203盖泽双实验一 Java开发环境的熟悉(Linux + Eclipse)
实验一 Java开发环境的熟悉(Linux + Eclipse) 实验内容 1.使用JDK编译.运行简单的Java程序: 2.使用Eclipse 编辑.编译.运行.调试Java程序. 实验要求 1.没 ...
- js之点击值发生变化
点击值发生变化,应用场景,比如像阿里云那样我通常密码是以******的形式存在,我必须要点击查看,它才会以明文显示. 在实际开发中,比如以智能门锁为例,安装门锁时,有个叫密码输入框的表单,这个是选填项 ...
- C++矩阵库 Eigen 简介
最近需要用 C++ 做一些数值计算,之前一直采用Matlab 混合编程的方式处理矩阵运算,非常麻烦,直到发现了 Eigen 库,简直相见恨晚,好用哭了. Eigen 是一个基于C++模板的线性代数库, ...