7月16号day8总结

今天学习过程和小结

1.列举Linux常用命令

shutdown now Linux关机

rebot重启

mkdir

mkdir -p递归创建

vi/touth filename

rm -r filename删除文件

rm -rf file删除一个文件夹

vi编辑一个文件

i可编辑状态

esc-->:-->wq保存退出

q!不保存

wq!强制保存退出

ifconfig查看ip

pingip是否联通

cat查看文件内容

grep在文件中搜索某些内容

useradd增加一个用户

修改用户权限

chmod  读写权限777 filename

more

cp复制文件

mv移动文件，重命名

tar -zxvf解压缩

ls查看目录

ls -a查看隐藏文件。

pwd查看当前文件目录绝对路径

filewall:防火墙

service iptables start/stop/status/restart

修改网络配置文件

/etc/sysconfig/network-scripts/ifcfg-eth1

配置环境变量

/etc/profile

~/.bash_profile

/etc/profile.d/x.sh

java

export JAVA_HOEM=JAVA解压缩目录

export PATH=$JAVA_HOME/bin:$PATH

配置文件生效

soure -/.bash_profile

查看java安装目录

ecah $JAVA_HOME

hash函数特点是什么？

代码论道

字符串--->固定位数的hash值。

1.确定性

2.单向性

str---hash()--->hash值

3.防篡改

4.防碰撞

haprereduce分区默认实现

hash（key）%reduce task

hash实现：

SHA系列

MD系列

区块链

3.HDFS如何实现文件的存储

namenote存放文件原数据

接收客户端的请求。

操作原数据（修改文件名，打开文件，关闭文件、DataNode info）

DataNode

存储文件数据block.blocksize=128MB

发生心跳信息。将自身所有储存的block信息，健康状况发送给namenode。

4.HDFS副本存放机制？

block默认3份。

5.HDFS主要进程，yarn 的主要进程

namenote

datanote

Secondnamenote

资源导读框架

7.搭建伪分布式步骤

1.前置准备

java

tar --zxvf

配置环境变量

ssh

1.安装ssh服务器

openserver -ssh

2.ssh-keygen -t rsa

cd -/.ssh

id_rsa id_rsa.pub

cp id_rsa.pub authorized

130MB-->128MB block+2M block

HDFS

1.查看hdfs上的文件hdfs dfs -ls /查看文件

2.hdfs dfs -put 本地目录 /

3.查看hdfs上的文件内容 hdfs dfs -cat /

hdfs dfs -text /

4.在hdfs上创建目录，

hdfs dfs -mkdir /

5.递归创建目录

hdfs dfs -mkdir -p /test/a/b

6.递归查询目录

hdfs dfs -ls -p /test

7.将hdfs上的文件下载到本地。

hdfs dfs -get/hello.txt

8.将本地文件拷贝到hdfs上/test/a/b

hdfs dfs -copyFromLoacl hello.txt /test/a/b/h.text

9删除hdfs上的目录

hdfs dfs -rm -R /hello

10.删除hdfs上的文件

hdfs dfs -rm /hello.txt

 遇到的问题

1. 今天重新学习了Linux的基本命令，觉得还有很多常用的命令不熟悉，要继续加强记忆。
2. 今天学了一个新的开发软件idea，还有很多不懂的地方，要多多练习。

3.对于用idea操作HDFS也很方便，但要学习如何调用方法。

学习技能思维导图