hadoop(五)scp命令copy文件和配置(完全分布式准备二)|7
机器的克隆参考centos7克隆ip|机器名|映射关系|别名配置(hadoop完全分布式准备一)
那么问题来了,如果我们有30台机器,之间可以互相访问,那我们如何快速安装配置环境如jdk hadoop等?
可通过scp命令将配置、下载好的工具等直接copy到我们新的机器上就可以了。
scp(secure copy)安全copy
Scp定义:
Scp可以实现服务器与服务器之间的数据copy。(from server1 to server2)
基本语法
Scp -r $pair/$fname $user@hadoop&host:$pdir/$fname
命令 递归 要copy的文件路径/名称 目标用户@主机:目标路径名称
操作实例
在hadoop101上,将hadoop101中/opt/module目录下的软件copy到hadoop102上。
scp/opt/module shaozhiqi@hadoop102:/opt
实际操作时发现报错了:
[shaozhiqi@hadoop101 ~]$ scp -r /opt/module shaozhiqi@hadoop102: /opt
^Z
[1]+ Stopped scp -r /opt/module shaozhiqi@hadoop102: /opt/
[shaozhiqi@hadoop101 ~]$ scp -r /opt/module shaozhiqi@hadoop102:/opt/
ssh: Could not resolve hostname hadoop102: Name or service not kno
lost connection
那就去修改hadoop101的/etc/hosts
添加上与102/103/104等机器的映射配置,否则在执行命令时只能使用ip
[shaozhiqi@hadoop101 ~]$ vi /etc/hosts
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.1.101 hadoop101
192.168.1.102 hadoop102
192.168.1.103 hadoop103
192.168.1.104 hadoop104
192.168.1.105 hadoop105
192.168.1.106 hadoop106
192.168.1.107 hadoop107
192.168.1.108 hadoop108
Reboot后
再次执行scp
[shaozhiqi@hadoop101 ~]$ scp -r /opt/module shaozhiqi@hadoop102: /opt/module
[shaozhiqi@hadoop102 module]$ ll
total 8
drwxr-xr-x. 15 shaozhiqi shaozhiqi 4096 Jun 22 22:04 hadoop-3.1.2
drwxr-xr-x. 7 shaozhiqi shaozhiqi 4096 Jun 22 21:59 jdk1.8.0_211
[shaozhiqi@hadoop102 module]$
在103上将101的数据copy过来 ./表示当前目录
[shaozhiqi@hadoop103 module]$ scp –r shaozhiqi@hadoop101:/opt/module ./
[shaozhiqi@hadoop103 module]$ ll
total 8
drwxr-xr-x. 15 shaozhiqi shaozhiqi 4096 Jun 22 22:41 hadoop-3.1.2
drwxr-xr-x. 7 shaozhiqi shaozhiqi 4096 Jun 22 22:26 jdk1.8.0_211
[shaozhiqi@hadoop103 module]$
在103copy 102module到104,执行命令输入102和104的密码
[shaozhiqi@hadoop103 module]$ scp -r shaozhiqi@hadoop102:/opt/module shaozhiqi@hadoop104:/opt/
如果之前没有module,需要用root用户执行scp
那么执行结束后就需要执行chown进行授权
[shaozhiqi@hadoop103 opt]$ cd module/
[shaozhiqi@hadoop103 module]$ ll
total 8
drwxr-xr-x. 15 root root 4096 Jun 23 00:21 hadoop-3.1.2
drwxr-xr-x. 7 root root 4096 Jun 23 00:19 jdk1.8.0_211
[shaozhiqi@hadoop103 opt]$ sudo chown shaozhiqi:shaozhiqi module/ -R
[shaozhiqi@hadoop103 opt]$ ll
total 0
drwxr-xr-x. 4 shaozhiqi shaozhiqi 44 Jun 23 00:19 module
drwxr-xr-x. 2 shaozhiqi shaozhiqi 6 Jun 18 05:58 software
将101上配置的环境变量copy过来
cat /etc/profile
[shaozhiqi@hadoop101 ~]$ scp /etc/profile root@hadoop102:/etc/profile
root@hadoop102's password:
profile 100% 1985 1.9KB/s 00:00
[shaozhiqi@hadoop101 ~]$ scp /etc/profile root@hadoop103:/etc/profile
root@hadoop103's password:
profile 100% 1985 1.9KB/s 00:00
[shaozhiqi@hadoop101 ~]$ scp /etc/profile root@hadoop104:/etc/profile
root@hadoop104's password:
profile 100% 1985 1.9KB/s 00:00
[shaozhiqi@hadoop101 ~]$
重新加载环境配置
source /etc/profile
java –version
如果是openJKD则可删除
删除方式参考[Hadoop学习(一) centos7 jdk安装,hadoop安装
删除后再次
source /etc/profile
验证
[shaozhiqi@hadoop103 ~]$ java -version
java version "1.8.0_211"
Java(TM) SE Runtime Environment (build 1.8.0_211-b12)
Java HotSpot(TM) 64-Bit Server VM (build 25.211-b12, mixed mode)
[shaozhiqi@hadoop103 ~]$
hadoop(五)scp命令copy文件和配置(完全分布式准备二)|7的更多相关文章
- Linux使用scp命令进行文件远程拷贝详解
前言 scp是 secure copy的缩写, scp是Linux系统下基于ssh登陆进行安全的远程文件拷贝命令.Linux的scp命令可以在Linux服务器之间复制文件和目录. 使用语法: scp ...
- linux 下使用scp命令传输文件
scp -P 1234 /home/wakasann/test.txt wakasann@192.168.1.30:/var/www/html/ 使用 1234端口,将 test.txt文件传输到服务 ...
- Linux sudo命令——sudoers文件的配置
Linux sudo命令与其配置文件/etc/sudoers 对linux有一定了解的人多少也会知道点关于sudo命令.sudo命令核心思想是权限的赋予 ,即某个命令的所属用户不是你自己,而你却有 ...
- 两台centos之间使用scp命令传输文件
1.将本地文件copy到远程 (1)复制文件 scp local_file remote_username@remote_ip:remote_folder 例如:将/usr/local/aa.png文 ...
- 执行SCP命令拷贝文件失败
scp是我最常用的远程文件拷贝工具,今天发现突然不能用了: svan-mac:hive-tools xiean$ scp -Pxx target/urs-hive-tools-jar-with-de ...
- hadoop(五): shell命令
hdfs dfs -cat URI : 查看文件内容 hdfs dfs -cat hdfs dfs -cat hdfs://mycluster/user/root/rcc1 hdfs dfs -cat ...
- Linux使用scp命令实现文件的上传和下载
上传本地/data/project/test.zip 文件至远程服务器192.168.1.2的 /root 目录下,代码如下: scp /home/project/test.zip root@192 ...
- 使用scp命令传输文件
1. 从远端复制文件到本地: sudo scp root@192.168.0.1:remote_path/remote_file . 2. 从本地复制文件到远端: sudo scp local_fil ...
- linux采用scp命令拷贝文件到本地,拷贝本地文件到远程服务器
// 假设远程服务器IP地址为 192.168.1.100 1.从服务器复制文件到本地: scp root@192.168.1.100:/data/test.txt /home/myfile/ roo ...
随机推荐
- 利用JDBC工具类添加和查询数据-Java(新手)
JDBC工具类: 1 package cn.lxr.jdbclx; 2 3 import java.sql.*; 4 5 public class JDBCUtils { 6 private stat ...
- [Alg] 文本匹配-单模匹配与多模匹配
实际场景: 网站的用户发了一些帖子S1, S2,...,网站就要审核一下这些帖子里有没有敏感词. 1. 如果网站想查一下帖子里有没有一个敏感词P,这个文本匹配要怎么做更快? 2. 如果网站想查一下帖子 ...
- JMeter报错:Address already in use : connect
Address already in use : connect的解决办法: 修改操作系统注册表1.打开注册表:regedit2.找到HKEY_LOCAL_MACHINE\SYSTEM\Current ...
- 零售CRM系统开发的核心功能
在零售行业中,客户关系管理系统是一个包含销售,市场营销和客户服务流程的中央枢纽.它为企业所有者提供了一种可以结合所有与销售有关的问题并管理销售流程的有效工具.零售CRM可以留住客户,提供个性化的一流客 ...
- Django之路由层和视图层详解
路由层 首先我们来看一下,路由层都有哪些东西,其实你看django很人性化,将所有的介绍都放在了简介里面,不信,你看
- 北京大学公开课《数据结构与算法Python版》
之前我分享过一个数据结构与算法的课程,很多小伙伴私信我问有没有Python版. 看了一些公开课后,今天特向大家推荐北京大学的这门课程:<数据结构与算法Python版>. 课程概述 很多同学 ...
- Java并发包下锁学习第一篇:介绍及学习安排
Java并发包下锁学习第一篇:介绍及学习安排 在Java并发编程中,实现锁的方式有两种,分别是:可以使用同步锁(synchronized关键字的锁),还有lock接口下的锁.从今天起,凯哥将带领大家一 ...
- 不同label样本画图——颜色分配plt.cm.Spectral
不同label样本画图——颜色分配plt.cm.Spectralhttps://blog.csdn.net/wang_zuel/article/details/102940092 关于plt.cm.S ...
- 从DeepNet到HRNet,这有一份深度学习“人体姿势估计”全指南
从DeepNet到HRNet,这有一份深度学习"人体姿势估计"全指南 几十年来,人体姿态估计(Human Pose estimation)在计算机视觉界备受关注.它是理解图像和视频 ...
- Arcgis中制作热力图
摘要 使用核函数根据点或折线 (polyline) 要素计算每单位面积的量值以将各个点或折线 (polyline) 拟合为光滑锥状表面. 插图