4-linux、hdfs命令
定义： linux：Linux是一套免费使用和自由传播的类Unix操作系统，是一个基于POSIX和UNIX的多用户、多任务、支持多线程和多CPU的 操作系统。它能运行主要的UNIX工具软件、应用程序和网络协议。它支持32位和64位硬件。Linux继承了Unix以网络为核 心的设计思想，是一个性能稳定的多用户网络操作系统。 hdfs：Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分 布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适 合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用——————————————————————————————————————————————————————————————————————————————————————————————————————— *******************************************************linux******************************************* ——————————————————————————————————————————————————————————————————————————————————————————————————————— ①命令格式： 命令 -选项 参数 单个选项：ls -l /us 多个选项：ls –la /root ②快捷键： ctrl + c（停止当前进程） ctrl + z 挂起当前进程，放后台 ctrl + l（清屏，与clear命令作用相同） 对当前命令行的操作： ctrl + a 行首 ctrl + e 行尾 ③基础命令 —————————————————————————————————————————— 、帮助 —————————————————————————————————————————— man help --help which cd //查看命令所在位置 whereis cd //查看命令所在位置 —————————————————————————————————————————— 、路劲切换 —————————————————————————————————————————— cd ~ //回到当前用户home中 cd / //回到根下 cd - //回到上一次目录下 —————————————————————————————————————————— 、目录 —————————————————————————————————————————— mkdir //新建目录 mkdir -p //递归新建目录 touch //新建文件 pwd //当前目录（绝对路劲） ls //简略显示目录信息，如不加目录，则表示当前目录 ls -l //详细显示 <==>ll ls -a //包括隐藏文件 ls -h //包括文件大小 例子： touch ./a.txt ./b.txt //新建文件 ls /etc //显示详细信息 —————————————————————————————————————————— 、复制、粘贴、移动 —————————————————————————————————————————— cp -r : 递归处理，复制目录 -p : 保留文件属性 （原文件的时间不变） eg: cp –R /ect /root mv eg: mv /ect /root · rm -r : 删除目录及其所有文件 -f : 强制删除 eg: rm –rf /ect —————————————————————————————————————————— 、其他命令 —————————————————————————————————————————— cat -a : 包括隐藏字符 -n : 并查看行号 head -n : 查看文件前几行（n为具体的数字） eg : head – ./txt tail -n : 查看文件后几行（n为具体的数字） ln ln -s /etc ./etc_1 //创建文件/etc的软链接etc_1 —————————————————————————————————————— vim/vi Unix / Linux上 常用的文本编辑器而且功能非常强大。 a //进入编辑状态 esc //退出 —————————————————————————————————————— tar eg: tar -zcvf dir1.tar.gz dir1 //将目录dir1打包并压缩 eg: tar -zxvf dir1.tar.gz -C(大写的) /root //解压到指定的/root目录 —————————————————————————————————————— find(文件查找) —————————————————————————————————————— -name //按名称查找 区分大小写 -iname //按名称查找 不区分大小写 ————————————————————————————————— *：匹配所有 ？：匹配单个字符 eg:find /etc -name “init???” ————————————————————————————————— -size eg:find /etc -size - eg:find /etc -size //在etc目录下找出小于(大于)100MB的文件 ————————————————————————————————— -type f 二进制文件 l 软连接文件 d 目录 c 字符文件 eg: find /dev -type c ————————————————————————————————— ————————————————————————————————————— grep(内容查找) -c ：输出匹配行的次数（是以行为单位，不是以出现次数为单位） -i ：忽略大小写，所以大小写视为相同 -n ：显示匹配行及行号 -v ：反向选择，显示不包含匹配文本的所有行。 eg: grep “init”/etc/inittab //显示在inittab文件中，init匹配行 eg: grep -n “init”/etc/inittab //显示在inittab文件中，init匹配行及行号 eg: grep -c“init”/etc/inittab //显示在inittab文件中，init匹配了多少次 —————————————————————————————————————— netstat（网络端口、连接信息） -a : all显示所有连接和监听端口 -t : (tcp)仅显示tcp相关选项 -u : (udp)仅显示udp相关选项 -n : 使用数字方式显示地址和端口号 -p : 显示socket的PID和进程的名字 -l ：（listening） 显示监控中的服务器的socket eg : netstat -nltp //查看端口信息 eg : netstat -nltp | grep //查看端口80的信息 —————————————————————————————————————— ps（进程信息） -a：显示所有用户的进程 -u：显示用户名和启动时间 -x：显示没有控制终端的进程 -e：显示所有进程，包括没有控制终端的进程 -l：长格式显示 -f: 进程的详细信息 eg : ps -ef //查看所有进程及详细信息（常用） Kill kill - 进程号 //（强行关闭） 常用 kill - 进程号 //（重启进程） —————————————————————————————————————— shutdown -h:关机 -r:重启 shutdown -h now 立即关机 shutdown -h : 定时关机 —————————————————————————————————————— —————————————————————————————————————————— ④配置命令： —————————————————————————————————————————— service network restart //重启网络，配置ip使用 source /etc/profile //刷新环境变量 vi /etc/hostname //配置主机名称，配置之后不需要刷新 vi /etc/hosts //配置主机映射 vi /etc/profile //环境变量 cd /etc/sysconfig/network //ip配置目录 scp -r /opt/app/hadoop s11:/opt/app/ //递归分发 sudo chown -R hadoop:hadoop /opt/app/zookeeper-/ //更改所属 —————————————————————————————————————————— ⑤用户管理命令： —————————————————————————————————————————— useradd 用户名 passwd 用户名 userdel 用户名 userdel -r 用户名 //删除用户以及home下的文档 chown root:root ./dir //修改dir的所有者和所属组 chown –R root:root ./dir //修改dir及其子目录的所有者和所属组 （必须大写R） 用户权限：u(所属者:)，g(所属组:)，o(其他:) chmod u+x,o-x a.txt //给所属者增加执行权限， //其他减去执行权限 chmod a.txt ——————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————— *******************************************************HDFS命令**************************************************************************************************** ——————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————— 、DFS命令（最好写绝对路劲） ———————————————————————————————————————————————————————————————————— ———————————————————————————————————————————————————————————————————— [-mkdir [-p] <path> ...] //创建文件夹 [-rmdir [--ignore-fail-on-non-empty] <dir> ...] //删除一个文件、非空文件夹， [-rm [-f] [-r|-R] [-skipTrash] <src> ...] //递归删除文件及文件夹 [-put [-f] [-p] [-l] <localsrc> ... <dst>] //上传文件到HDFS [-get [-p] [-ignoreCrc] [-crc] <src> ... <localdst>] //下载文件到本地 [-copyFromLocal [-f] [-p] [-l] <localsrc> ... <dst>] //从本地拷贝文件到HDFS上 [-copyToLocal [-p] [-ignoreCrc] [-crc] <src> ... <localdst>] //从HDFS上拷贝文件到本地 [-moveFromLocal <localsrc> ... <dst>] //从本地剪切文件到HDFS上 [-moveToLocal <src> <localdst>] //从HDFS上剪切文件到本地 [-cat [-ignoreCrc] <src> ...] //只能查看普通的文件，不能查看二进制的文件 [-text [-ignoreCrc] <src> ...] //text 可以查看所有类型的文件 [-df [-h] [<path> ...]] //查看HDFS上可用空间 [-du [-s] [-h] <path> ...] //统计文件或者文件夹的大小 [-chgrp [-R] GROUP PATH...] //修改权限 [-chmod [-R] <MODE[,MODE]... | OCTALMODE> PATH...] //修改权限 [-chown [-R] [OWNER][:[GROUP]] PATH...] //修改权限 _________________________________________________________________________________________________________________ eg: hdfs dfs //查看所有dfs命令 hdfs dfs -help cat //帮助命令，命令参数没有- hdfs dfs -mkdir -p /input/input2/input3 //创建文件夹 hdfs dfs -rm -r -f /input/input2/input3 //强制递归删除文件 hdfs dfs -put -p /root/local2 / //上传文件夹 hdfs dfs -put -P /root/local2/* /input //上传文件 hdfs dfs -put -P /root/1.txt /1.xml //上传文件并改名 hdfs dfs -get -p /input /root/local2 //下载文件夹 hdfs dfs -get -p /input/* /root/local2 //下载文件 copyFromLocal copyToLocal moveFromLocal moveToLocal hdfs dfs -cat /input/1.txt //查看内容,不能查看二进制文件 hdfs dfs -text /input/1.txt //查看内容 hdfs dfs -df /input //产看可用空间 hdfs dfs -du /input/1.txt //统计文件或者文件夹的大小 hdfs dfs -chown -R hadoop:hadoop /input //递归修改权限 hdfs dfs -chomd -R 777 /input //递归修改权限 hdfs dfsadmin -safemode <enter | leave | get | wait> //设置安全模式，刚开始启动HDFS时，前30s是安全模式，只读 hdfs dfsadmin -enter //进入安全模式 hdfs dfsadmin -leave //离开安全模式 hdfs dfsadmin -refreshNodes //刷新hdfs yarn rmadmin -refreshNodes //刷新yarn ———————————————————————————————————————————————————————————————————— ————————————————————————————————————————————————————————————————————
4-linux、hdfs命令的更多相关文章
- HDFS 命令大全
目录 概要 用户命令 dfs 命令 追加文件内容 查看文件内容 得到文件的校验信息 修改用户组 修改文件权限 修改文件所属用户 本地拷贝到 hdfs hdfs 拷贝到本地 获取目录,文件数量及大小 h ...
- 介绍hadoop中的hadoop和hdfs命令
有些hive安装文档提到了hdfs dfs -mkdir ,也就是说hdfs也是可以用的,但在2.8.0中已经不那么处理了,之所以还可以使用,是为了向下兼容. 本文简要介绍一下有关的命令,以便对had ...
- hadoop之hdfs命令详解
本篇主要对hadoop命令和hdfs命令进行阐述,yarn命令会在之后的文章中体现 hadoop fs命令可以用于其他文件系统,不止是hdfs文件系统内,也就是说该命令的使用范围更广可以用于HDFS. ...
- 小记---------有关hadoop的HDFS命令行操作
HDFS命令操作 首先需要在xshell启动hadoop start-all.sh or start-hdfs.sh hadoop fs -ls / (显示当前目录下所有文件) h ...
- 【Linux】Linux常用命令及操作 (一)
一.Linux简介 二.Linux基础命令 三.工作常用命令 --------------------------------------------------------------------- ...
- linux grep命令
linux grep命令1.作用Linux系统中grep命令是一种强大的文本搜索工具,它能使用正则表达式搜索文本,并把匹 配的行打印出来.grep全称是Global Regular Expressio ...
- Linux常用命令（一）
Linux常用命令 1. pwd查看当前路径(Print Working Directory) [root@CentOS ~]# pwd/root 2. cd .. 返回上一级 .. 表示上一级 ...
- Linux下命令行安装weblogic10.3.6
Linux下命令行安装weblogic10.3.6 一.安装前准备工作: 1.创建用户useradd weblogic;创建用户成功linux系统会自动创建一个和用户名相同的分组,并将该用户分到改组中 ...
- Linux paste命令
Linux paste命令用于合并文件的列. paste指令会把每个文件以列对列的方式,一列列地加以合并. 语法 paste [-s][-d <间隔字符>][--help][--versi ...
随机推荐
- basic knowledge
---恢复内容开始--- TCP/IP指的是利用IP通信时必须用到的协议群统称. 分层模型: 1.物理层:硬件. 2.数据链路层:网络接口层.当做NIC驱动程序. 3.网络层:互联网层.IP协议基于I ...
- ViewpageWebview
import android.content.Intent;import android.support.v7.app.AppCompatActivity;import android.os.Bund ...
- Favorite Donut（HDU 5442）最小表示法+二分
题目给出一个字符串,由a~z表示甜度,随字典序增大,字符串首尾相连形成一个圈,要求从一个位置开始字典序最大的字符串,输出位置以及是顺时针还是逆时针表示.顺时针用0表示,逆时针用1表示. 此题只需要查找 ...
- Ubuntu18.04下make menuconfig缺少ncurses库
kent@hu:~/work/03-kernel/linux-4.15.1$ make menuconfig *** Unable to find the ncurses libraries or t ...
- nginx配置静态页面访问
server { server_name static.naice.me; // 你的域名或者 ip # 域名:static.naice.me 这里用 "_" 代表获取匹配所有 ...
- Junit单元测试随笔
Junit单元测试随笔 Mooctest 使用心得: Mooctest IDE非常适合新手使用,相比于Eclipse,他免去了配置环境的麻烦.eclipse中 Junit 编写代码经验总结 刚开始写测 ...
- c# 中 利用 CookieContainer 对 Cookie 进行序列化和反序列化校验
private void Form1_Load(object sender, EventArgs e) { var cookieStr = @".CNBlogsCookie=1BE76122 ...
- c++——智能指针学习（unique_ptr）
1.为什么会有unique_ptr? 动态内存忘记delete,导致内存泄漏.比如: p = new (); if(...) { return ; } delete p; 因此我们需要一种方式来解决这 ...
- CentOS 7编译安装php7.0.7以及可能遇到的问题的解决方案
https://blog.csdn.net/chenxiabinffff/article/details/51612149
- mysql的事务和数据库锁的关系
数据库加事务并不是数据就安全来了,事务和锁要分析清楚和配合使用 问题背景处于对高并发的秒杀环节的理解整理如下: 秒杀的时候高并发主要注意1.在秒杀的情况下,肯定不能如此高频率的去读写数据库,会严重造成 ...