机器的克隆参考centos7克隆ip|机器名|映射关系|别名配置(hadoop完全分布式准备一)

那么问题来了,如果我们有30台机器,之间可以互相访问,那我们如何快速安装配置环境如jdk hadoop等?
可通过scp命令将配置、下载好的工具等直接copy到我们新的机器上就可以了。

scp(secure copy)安全copy

Scp定义:
Scp可以实现服务器与服务器之间的数据copy。(from server1 to server2)
基本语法

Scp     -r         $pair/$fname                 $user@hadoop&host:$pdir/$fname
命令 递归 要copy的文件路径/名称 目标用户@主机:目标路径名称

操作实例
在hadoop101上,将hadoop101中/opt/module目录下的软件copy到hadoop102上。

scp/opt/module shaozhiqi@hadoop102:/opt

实际操作时发现报错了:

[shaozhiqi@hadoop101 ~]$ scp -r /opt/module shaozhiqi@hadoop102: /opt
^Z
[1]+ Stopped scp -r /opt/module shaozhiqi@hadoop102: /opt/
[shaozhiqi@hadoop101 ~]$ scp -r /opt/module shaozhiqi@hadoop102:/opt/
ssh: Could not resolve hostname hadoop102: Name or service not kno
lost connection

那就去修改hadoop101的/etc/hosts
添加上与102/103/104等机器的映射配置,否则在执行命令时只能使用ip

[shaozhiqi@hadoop101 ~]$ vi /etc/hosts
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.1.101 hadoop101
192.168.1.102 hadoop102
192.168.1.103 hadoop103
192.168.1.104 hadoop104
192.168.1.105 hadoop105
192.168.1.106 hadoop106
192.168.1.107 hadoop107
192.168.1.108 hadoop108

Reboot后
再次执行scp

[shaozhiqi@hadoop101 ~]$ scp -r /opt/module shaozhiqi@hadoop102: /opt/module
[shaozhiqi@hadoop102 module]$ ll
total 8
drwxr-xr-x. 15 shaozhiqi shaozhiqi 4096 Jun 22 22:04 hadoop-3.1.2
drwxr-xr-x. 7 shaozhiqi shaozhiqi 4096 Jun 22 21:59 jdk1.8.0_211
[shaozhiqi@hadoop102 module]$

在103上将101的数据copy过来 ./表示当前目录

[shaozhiqi@hadoop103 module]$ scp –r  shaozhiqi@hadoop101:/opt/module ./
[shaozhiqi@hadoop103 module]$ ll
total 8
drwxr-xr-x. 15 shaozhiqi shaozhiqi 4096 Jun 22 22:41 hadoop-3.1.2
drwxr-xr-x. 7 shaozhiqi shaozhiqi 4096 Jun 22 22:26 jdk1.8.0_211
[shaozhiqi@hadoop103 module]$

在103copy 102module到104,执行命令输入102和104的密码

[shaozhiqi@hadoop103 module]$ scp -r shaozhiqi@hadoop102:/opt/module shaozhiqi@hadoop104:/opt/

如果之前没有module,需要用root用户执行scp
那么执行结束后就需要执行chown进行授权

[shaozhiqi@hadoop103 opt]$ cd module/
[shaozhiqi@hadoop103 module]$ ll
total 8
drwxr-xr-x. 15 root root 4096 Jun 23 00:21 hadoop-3.1.2
drwxr-xr-x. 7 root root 4096 Jun 23 00:19 jdk1.8.0_211
[shaozhiqi@hadoop103 opt]$ sudo chown shaozhiqi:shaozhiqi module/ -R
[shaozhiqi@hadoop103 opt]$ ll
total 0
drwxr-xr-x. 4 shaozhiqi shaozhiqi 44 Jun 23 00:19 module
drwxr-xr-x. 2 shaozhiqi shaozhiqi 6 Jun 18 05:58 software

将101上配置的环境变量copy过来
cat /etc/profile

[shaozhiqi@hadoop101 ~]$ scp /etc/profile root@hadoop102:/etc/profile
root@hadoop102's password:
profile 100% 1985 1.9KB/s 00:00
[shaozhiqi@hadoop101 ~]$ scp /etc/profile root@hadoop103:/etc/profile
root@hadoop103's password:
profile 100% 1985 1.9KB/s 00:00
[shaozhiqi@hadoop101 ~]$ scp /etc/profile root@hadoop104:/etc/profile
root@hadoop104's password:
profile 100% 1985 1.9KB/s 00:00
[shaozhiqi@hadoop101 ~]$

重新加载环境配置
source /etc/profile
java –version
如果是openJKD则可删除
删除方式参考[Hadoop学习(一) centos7 jdk安装,hadoop安装
删除后再次
source /etc/profile
验证

[shaozhiqi@hadoop103 ~]$ java -version
java version "1.8.0_211"
Java(TM) SE Runtime Environment (build 1.8.0_211-b12)
Java HotSpot(TM) 64-Bit Server VM (build 25.211-b12, mixed mode)
[shaozhiqi@hadoop103 ~]$

hadoop(五)scp命令copy文件和配置(完全分布式准备二)|7的更多相关文章

  1. Linux使用scp命令进行文件远程拷贝详解

    前言 scp是 secure copy的缩写, scp是Linux系统下基于ssh登陆进行安全的远程文件拷贝命令.Linux的scp命令可以在Linux服务器之间复制文件和目录. 使用语法: scp  ...

  2. linux 下使用scp命令传输文件

    scp -P 1234 /home/wakasann/test.txt wakasann@192.168.1.30:/var/www/html/ 使用 1234端口,将 test.txt文件传输到服务 ...

  3. Linux sudo命令——sudoers文件的配置

    Linux sudo命令与其配置文件/etc/sudoers   对linux有一定了解的人多少也会知道点关于sudo命令.sudo命令核心思想是权限的赋予 ,即某个命令的所属用户不是你自己,而你却有 ...

  4. 两台centos之间使用scp命令传输文件

    1.将本地文件copy到远程 (1)复制文件 scp local_file remote_username@remote_ip:remote_folder 例如:将/usr/local/aa.png文 ...

  5. 执行SCP命令拷贝文件失败

    scp是我最常用的远程文件拷贝工具,今天发现突然不能用了: svan-mac:hive-tools xiean$ scp  -Pxx target/urs-hive-tools-jar-with-de ...

  6. hadoop(五): shell命令

    hdfs dfs -cat URI : 查看文件内容 hdfs dfs -cat hdfs dfs -cat hdfs://mycluster/user/root/rcc1 hdfs dfs -cat ...

  7. Linux使用scp命令实现文件的上传和下载

    上传本地/data/project/test.zip 文件至远程服务器192.168.1.2的 /root 目录下,代码如下: scp /home/project/test.zip  root@192 ...

  8. 使用scp命令传输文件

    1. 从远端复制文件到本地: sudo scp root@192.168.0.1:remote_path/remote_file . 2. 从本地复制文件到远端: sudo scp local_fil ...

  9. linux采用scp命令拷贝文件到本地,拷贝本地文件到远程服务器

    // 假设远程服务器IP地址为 192.168.1.100 1.从服务器复制文件到本地: scp root@192.168.1.100:/data/test.txt /home/myfile/ roo ...

随机推荐

  1. [前端开发]Vue组件化的思想

    组件化的思想 将一个页面中的处理逻辑放在一起,处理起来就会很复杂,不利于后续管理和扩展. 如果将页面拆分成一个个小的功能块,每个功能块实现自己的内容,之后对页面的管理和维护就变得很容易了. 注册组件的 ...

  2. 云CRM和本地CRM哪个更好

    现在CRM系统按照服务器部署方式的不同分为本地CRM和云CRM两种,本地CRM需要在企业内部部署服务器,而云CRM的服务器则是安装在云服务器上面,很多企业可能不知道应该选择云CRM还是本地CRM.下面 ...

  3. mysql 更换数据目录

    mysql 更换数据目录 1.停止MySql服务: /etc/rc.d/init.d/mysql stop 或者 service mysql stop 2.确认MySql原来的数据目录,查找datad ...

  4. 强智教务系统验证码识别 Tensorflow CNN

    强智教务系统验证码识别 Tensorflow CNN 一直都是使用API取得数据,但是API提供的数据较少,且为了防止API关闭,先把验证码问题解决 使用Tensorflow训练模型,强智教务系统的验 ...

  5. [模拟]Codeforces Circle of Students

    Circle of Students time limit per test 2 seconds memory limit per test 256 megabytes input standard ...

  6. nginx openssl升级支持http2

    阿里云openssl升级,实现nginx主动推送 nginx主动推送能够有效减少不必要的报文传输,减少用户请求次数,以达到更快访问速度 现有版本检查 [root@node3 ~]# openssl v ...

  7. vue命令式组件和插件编写

    一直在写各种业务,好多基本用法都忘记了,回顾一下: 一.vue各种UI库里的命令式组件比如element-ui里Notification组件,可以这样调用 this.$notify({ title: ...

  8. 3D画廊

    3D画廊 之前我都是写的学习的内容,我在写这些教程时遇到有趣的炫酷的小例子也会专门拿出来写一篇文章,今天就写一个酷炫的小例子,叫3D画廊,它是属于ViewPage的进阶版. 此项目下载地点:https ...

  9. 食物图片变菜谱:这篇CVPR论文让人人都可以学习新料理

    根据 Facebook 的统计,Instgram 上的美食图片数量已经超过 3 亿张.然而,获取食物烹饪方法的途径依然有限,例如,通过烹饪网站或相关教程.怎样能够挖掘丰富食物图片背后的烹饪方法,让每个 ...

  10. 线程安全,syncronized 用法

    1,为什么有线程安全问题? 当多个线程同时共享同一个全局变量或静态变量,做写的操作时,可能会发生数据冲突问题,也就是线程安全问题.但是做读操作是不会发生数据冲突问题. public class Tra ...