4-linux、hdfs命令
定义： linux：Linux是一套免费使用和自由传播的类Unix操作系统，是一个基于POSIX和UNIX的多用户、多任务、支持多线程和多CPU的 操作系统。它能运行主要的UNIX工具软件、应用程序和网络协议。它支持32位和64位硬件。Linux继承了Unix以网络为核 心的设计思想，是一个性能稳定的多用户网络操作系统。 hdfs：Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分 布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适 合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用——————————————————————————————————————————————————————————————————————————————————————————————————————— *******************************************************linux******************************************* ——————————————————————————————————————————————————————————————————————————————————————————————————————— ①命令格式： 命令 -选项 参数 单个选项：ls -l /us 多个选项：ls –la /root ②快捷键： ctrl + c（停止当前进程） ctrl + z 挂起当前进程，放后台 ctrl + l（清屏，与clear命令作用相同） 对当前命令行的操作： ctrl + a 行首 ctrl + e 行尾 ③基础命令 —————————————————————————————————————————— 、帮助 —————————————————————————————————————————— man help --help which cd //查看命令所在位置 whereis cd //查看命令所在位置 —————————————————————————————————————————— 、路劲切换 —————————————————————————————————————————— cd ~ //回到当前用户home中 cd / //回到根下 cd - //回到上一次目录下 —————————————————————————————————————————— 、目录 —————————————————————————————————————————— mkdir //新建目录 mkdir -p //递归新建目录 touch //新建文件 pwd //当前目录（绝对路劲） ls //简略显示目录信息，如不加目录，则表示当前目录 ls -l //详细显示 <==>ll ls -a //包括隐藏文件 ls -h //包括文件大小 例子： touch ./a.txt ./b.txt //新建文件 ls /etc //显示详细信息 —————————————————————————————————————————— 、复制、粘贴、移动 —————————————————————————————————————————— cp -r : 递归处理，复制目录 -p : 保留文件属性 （原文件的时间不变） eg: cp –R /ect /root mv eg: mv /ect /root · rm -r : 删除目录及其所有文件 -f : 强制删除 eg: rm –rf /ect —————————————————————————————————————————— 、其他命令 —————————————————————————————————————————— cat -a : 包括隐藏字符 -n : 并查看行号 head -n : 查看文件前几行（n为具体的数字） eg : head – ./txt tail -n : 查看文件后几行（n为具体的数字） ln ln -s /etc ./etc_1 //创建文件/etc的软链接etc_1 —————————————————————————————————————— vim/vi Unix / Linux上 常用的文本编辑器而且功能非常强大。 a //进入编辑状态 esc //退出 —————————————————————————————————————— tar eg: tar -zcvf dir1.tar.gz dir1 //将目录dir1打包并压缩 eg: tar -zxvf dir1.tar.gz -C(大写的) /root //解压到指定的/root目录 —————————————————————————————————————— find(文件查找) —————————————————————————————————————— -name //按名称查找 区分大小写 -iname //按名称查找 不区分大小写 ————————————————————————————————— *：匹配所有 ？：匹配单个字符 eg:find /etc -name “init???” ————————————————————————————————— -size eg:find /etc -size - eg:find /etc -size //在etc目录下找出小于(大于)100MB的文件 ————————————————————————————————— -type f 二进制文件 l 软连接文件 d 目录 c 字符文件 eg: find /dev -type c ————————————————————————————————— ————————————————————————————————————— grep(内容查找) -c ：输出匹配行的次数（是以行为单位，不是以出现次数为单位） -i ：忽略大小写，所以大小写视为相同 -n ：显示匹配行及行号 -v ：反向选择，显示不包含匹配文本的所有行。 eg: grep “init”/etc/inittab //显示在inittab文件中，init匹配行 eg: grep -n “init”/etc/inittab //显示在inittab文件中，init匹配行及行号 eg: grep -c“init”/etc/inittab //显示在inittab文件中，init匹配了多少次 —————————————————————————————————————— netstat（网络端口、连接信息） -a : all显示所有连接和监听端口 -t : (tcp)仅显示tcp相关选项 -u : (udp)仅显示udp相关选项 -n : 使用数字方式显示地址和端口号 -p : 显示socket的PID和进程的名字 -l ：（listening） 显示监控中的服务器的socket eg : netstat -nltp //查看端口信息 eg : netstat -nltp | grep //查看端口80的信息 —————————————————————————————————————— ps（进程信息） -a：显示所有用户的进程 -u：显示用户名和启动时间 -x：显示没有控制终端的进程 -e：显示所有进程，包括没有控制终端的进程 -l：长格式显示 -f: 进程的详细信息 eg : ps -ef //查看所有进程及详细信息（常用） Kill kill - 进程号 //（强行关闭） 常用 kill - 进程号 //（重启进程） —————————————————————————————————————— shutdown -h:关机 -r:重启 shutdown -h now 立即关机 shutdown -h : 定时关机 —————————————————————————————————————— —————————————————————————————————————————— ④配置命令： —————————————————————————————————————————— service network restart //重启网络，配置ip使用 source /etc/profile //刷新环境变量 vi /etc/hostname //配置主机名称，配置之后不需要刷新 vi /etc/hosts //配置主机映射 vi /etc/profile //环境变量 cd /etc/sysconfig/network //ip配置目录 scp -r /opt/app/hadoop s11:/opt/app/ //递归分发 sudo chown -R hadoop:hadoop /opt/app/zookeeper-/ //更改所属 —————————————————————————————————————————— ⑤用户管理命令： —————————————————————————————————————————— useradd 用户名 passwd 用户名 userdel 用户名 userdel -r 用户名 //删除用户以及home下的文档 chown root:root ./dir //修改dir的所有者和所属组 chown –R root:root ./dir //修改dir及其子目录的所有者和所属组 （必须大写R） 用户权限：u(所属者:)，g(所属组:)，o(其他:) chmod u+x,o-x a.txt //给所属者增加执行权限， //其他减去执行权限 chmod a.txt ——————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————— *******************************************************HDFS命令**************************************************************************************************** ——————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————— 、DFS命令（最好写绝对路劲） ———————————————————————————————————————————————————————————————————— ———————————————————————————————————————————————————————————————————— [-mkdir [-p] <path> ...] //创建文件夹 [-rmdir [--ignore-fail-on-non-empty] <dir> ...] //删除一个文件、非空文件夹， [-rm [-f] [-r|-R] [-skipTrash] <src> ...] //递归删除文件及文件夹 [-put [-f] [-p] [-l] <localsrc> ... <dst>] //上传文件到HDFS [-get [-p] [-ignoreCrc] [-crc] <src> ... <localdst>] //下载文件到本地 [-copyFromLocal [-f] [-p] [-l] <localsrc> ... <dst>] //从本地拷贝文件到HDFS上 [-copyToLocal [-p] [-ignoreCrc] [-crc] <src> ... <localdst>] //从HDFS上拷贝文件到本地 [-moveFromLocal <localsrc> ... <dst>] //从本地剪切文件到HDFS上 [-moveToLocal <src> <localdst>] //从HDFS上剪切文件到本地 [-cat [-ignoreCrc] <src> ...] //只能查看普通的文件，不能查看二进制的文件 [-text [-ignoreCrc] <src> ...] //text 可以查看所有类型的文件 [-df [-h] [<path> ...]] //查看HDFS上可用空间 [-du [-s] [-h] <path> ...] //统计文件或者文件夹的大小 [-chgrp [-R] GROUP PATH...] //修改权限 [-chmod [-R] <MODE[,MODE]... | OCTALMODE> PATH...] //修改权限 [-chown [-R] [OWNER][:[GROUP]] PATH...] //修改权限 _________________________________________________________________________________________________________________ eg: hdfs dfs //查看所有dfs命令 hdfs dfs -help cat //帮助命令，命令参数没有- hdfs dfs -mkdir -p /input/input2/input3 //创建文件夹 hdfs dfs -rm -r -f /input/input2/input3 //强制递归删除文件 hdfs dfs -put -p /root/local2 / //上传文件夹 hdfs dfs -put -P /root/local2/* /input //上传文件 hdfs dfs -put -P /root/1.txt /1.xml //上传文件并改名 hdfs dfs -get -p /input /root/local2 //下载文件夹 hdfs dfs -get -p /input/* /root/local2 //下载文件 copyFromLocal copyToLocal moveFromLocal moveToLocal hdfs dfs -cat /input/1.txt //查看内容,不能查看二进制文件 hdfs dfs -text /input/1.txt //查看内容 hdfs dfs -df /input //产看可用空间 hdfs dfs -du /input/1.txt //统计文件或者文件夹的大小 hdfs dfs -chown -R hadoop:hadoop /input //递归修改权限 hdfs dfs -chomd -R 777 /input //递归修改权限 hdfs dfsadmin -safemode <enter | leave | get | wait> //设置安全模式，刚开始启动HDFS时，前30s是安全模式，只读 hdfs dfsadmin -enter //进入安全模式 hdfs dfsadmin -leave //离开安全模式 hdfs dfsadmin -refreshNodes //刷新hdfs yarn rmadmin -refreshNodes //刷新yarn ———————————————————————————————————————————————————————————————————— ————————————————————————————————————————————————————————————————————
4-linux、hdfs命令的更多相关文章
- HDFS 命令大全
目录 概要 用户命令 dfs 命令 追加文件内容 查看文件内容 得到文件的校验信息 修改用户组 修改文件权限 修改文件所属用户 本地拷贝到 hdfs hdfs 拷贝到本地 获取目录,文件数量及大小 h ...
- 介绍hadoop中的hadoop和hdfs命令
有些hive安装文档提到了hdfs dfs -mkdir ,也就是说hdfs也是可以用的,但在2.8.0中已经不那么处理了,之所以还可以使用,是为了向下兼容. 本文简要介绍一下有关的命令,以便对had ...
- hadoop之hdfs命令详解
本篇主要对hadoop命令和hdfs命令进行阐述,yarn命令会在之后的文章中体现 hadoop fs命令可以用于其他文件系统,不止是hdfs文件系统内,也就是说该命令的使用范围更广可以用于HDFS. ...
- 小记---------有关hadoop的HDFS命令行操作
HDFS命令操作 首先需要在xshell启动hadoop start-all.sh or start-hdfs.sh hadoop fs -ls / (显示当前目录下所有文件) h ...
- 【Linux】Linux常用命令及操作 (一)
一.Linux简介 二.Linux基础命令 三.工作常用命令 --------------------------------------------------------------------- ...
- linux grep命令
linux grep命令1.作用Linux系统中grep命令是一种强大的文本搜索工具,它能使用正则表达式搜索文本,并把匹 配的行打印出来.grep全称是Global Regular Expressio ...
- Linux常用命令（一）
Linux常用命令 1. pwd查看当前路径(Print Working Directory) [root@CentOS ~]# pwd/root 2. cd .. 返回上一级 .. 表示上一级 ...
- Linux下命令行安装weblogic10.3.6
Linux下命令行安装weblogic10.3.6 一.安装前准备工作: 1.创建用户useradd weblogic;创建用户成功linux系统会自动创建一个和用户名相同的分组,并将该用户分到改组中 ...
- Linux paste命令
Linux paste命令用于合并文件的列. paste指令会把每个文件以列对列的方式,一列列地加以合并. 语法 paste [-s][-d <间隔字符>][--help][--versi ...
随机推荐
- Linux下的tar压缩解压缩命令详解（转）
tar -c: 建立压缩档案-x:解压-t:查看内容-r:向压缩归档文件末尾追加文件-u:更新原压缩包中的文件 这五个是独立的命令,压缩解压都要用到其中一个,可以和别的命令连用但只能用其中一个.下面的 ...
- Api文件
对于我们不认识的类(只限于java自带的类),我们可以百度去查一下,但是这样是嚼别人吃剩下的骨头,我们可以去查java的api文件,虽然都是英语,但是还是硬着头皮看吧,加油! 链接:https://p ...
- linux 在后台常驻运行php脚本
php a.php &
- javascript 5.2
window.open(url,name,features):创建新的浏览器窗口:url是窗口的地址,name是新窗口名字,features是新窗口的各种属性 真协议特指因特网上两台计算机之间传输各种 ...
- Web前端学习第一天
1.SQL注入攻击的发生 select username, email ,descl from users where id=1; 可能会被伪造成 1 union select password,1, ...
- sklearn learn preprocessing
train_test_split sklearn.model_selection.train_test_split(*arrays, test_size(float,int/None),#defaul ...
- node中间件概念
中间件就是请求req和响应res之间的一个应用,请求浏览器向服务器发送一个请求后,服务器直接通过request定位属性的方式得到通过request携带过去的数据,就是用户输入的数据和浏览器本身的数据信 ...
- QCAD 修改默认的线宽
QCAD 修改默认的线宽 默认的宽度实在是太宽了,把一些细节给掩盖了. 可以按以下方法找到修改默认宽度. 在 Layer -> Edit Layer 中. 最开始找了好久好久. 最开始在这里找了 ...
- 左耳听风-ARTS-第4周（2019/4/21-2019/4/27）
Algorithm 本周的算法题是删除已排序数据中的重复数字(https://leetcode.com/problems/remove-duplicates-from-sorted-array/).这 ...
- pache tomcat慢速HTTP拒绝服务攻击安全问题解决办法
问题说明:HTTP协议的设计要求服务器在处理之前完全接收到请求.如果HTTP请求未完成,或者传输速率非常低,则服务器将保持其资源占用等待剩余的数据.如果服务器占用的资源太多,则会造成拒绝服务. 漏洞危 ...