HDFS 处理命令记录

hdfs dfs -ls hdfs dfs -mkdir hdfs dfs -put hdfs dfs -get hdfs dfs -cat hadoop 执行jar 输出的目录必须要不存在的 yarn jar dpi-hadoop-1.0.0.jar MapReduceJob /test/lilin/input /test/lilin/out/dpi 查看目录大小 hdfs fsck /test/dpi/dpi_out/2016120715 获取.lzo_deflate的文件内容…

hadoop hdfs 一些命令记录

1.列出目录下的对象:hadoop fs -ls /lib 2.统计文件行数:hadoop fs -cat /文件* | wc -l 3.统计文件或者目录大小:hadoop fs -count /lib 结果显示依次是:文件夹个数,文件个数,文件大小(不计算副本个数) 4.删除目录:hadoop fs -rmr /lib 5.删除文件:hadoop fs -rm /lib 6.创建目录:hadoop fs -mkdir /lib…

Hadoop学习记录（2）|HDFS shell命令|体系结构

HDFS的shell 调用文件系统(FS)shell命令使用hadoop fs的形式所有的FS shell命令使用URI路径作为参数. URI格式是scheme://authority/path.HDFS的scheme是hdfs,对本地文件系统,scheme是file.其中scheme和authority参数都是可选的,如果未加指定,就会使用配置中指定的默认scheme. 例如:/parent/child可以表示成hdfs://namenode:namenodePort/parent/chil…

HDFS - Shell命令

HDFS - Shell命令最近学习比较忙,本来想做一个搭建集群笔记,今天先记录HDFS-shell命令,明天,最迟明天下午我一定会做一个搭建集群的笔记.. 介绍一个我的集群搭建:一主三从 3个虚拟机: 1. hadoop1:主+从 namenode+datanode+resourceMarager 2.hadoop2:从+日志记录 datanode+secondarynamenode+datamanager 3.hadoop3:从 datanode+datamanager 1.启动集群:…

HIVE 命令记录

HIVE 命令记录设置hive运行的队列 hive> set mapreduce.job.queuename=ven12; 打印列名 hive> set hive.cli.print.header=true; 创建新表 hive> CREATE TABLE t_hive (a int, b int, c int) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'; 正则匹配表名 hive>show tables '*t*'; 增加一个字…

HDFS部署测试记录(2019/05)

目录 HDFS部署测试记录 0.HDFS基础知识 1.基本组成结构与文件访问过程 2.NameNode启动时如何维护元数据 3.HDFS文件上传流程 1.系统环境 1.安装大致记录: 2.磁盘分区 3.配置好的机器情况 2.安装HDFS 3.配置HDFS 遇到的错误及处理完成配置后,对HDFS系统概览 4.读写文件测试 HDFS部署测试记录参考资料: Centos7系统配置上的变化(二)网络管理基础 Centos7系统配置上的变化(三)为网络接口添加多IP 增加ssh无密码信任连接的安全性…

[转]hadoop hdfs常用命令

FROM : http://www.2cto.com/database/201303/198460.html hadoop hdfs常用命令 hadoop常用命令: hadoop fs 查看Hadoop HDFS支持的所有命令 hadoop fs –ls 列出目录及文件信息 hadoop fs –lsr 循环列出目录.子目录及文件信息 hadoop fs –put test.txt /user/sunlightcs 将本地文件系统的test.txt复制到HDFS文…

MYSQL存储过程中常使用的命令记录

MYSQL存储过程中常使用的命令记录 1.触发器trigger 查看:show triggers; 2.存储过程procedure 查看:show procedure status; 查看详细:show create procedure [name] 3.事件调度器event 查看:show events; 查看详细: show create event [event_name]; 打开关闭mysql时间调度器:SET GLOBAL event_scheduler = ON/OFF或1/0 查…

Linux命令记录。

引用:http://www.cnblogs.com/xiaoluo501395377/archive/2013/03/31/2992500.html 首先,需要确定的是知道的是:对于Linux系统来说,无论是中央处理器.内存.磁盘驱动器.键盘.鼠标,还是用户等都是文件其次,如果需要对一个命令有具体了解,可以使用man指令:man [command] 管道命令(命令组合):使用符号 ‘ | ’来分割命令.按照从左到右的方式执行.例如:ls /etc | more ( 1,显示出etc文件夹下的所…

Bash shell命令记录和CentOS的一些技巧

①CentOS的实用技巧: 一.按下ctrl+alt+F2可由图形界面切换至命令行(shell窗口),按下ctrl+alt+F1可由命令行切换至图形界面(前提是安装CentOS时软件选择项选择安装了图形界面,一般是GNOME) 二.CentOS似乎输入密码时支持复制粘贴,至少MySQL输入密码时是可以的. 三.自己手动配置的软件(如tomcat压缩包)一般放在/usr/local/目录下. ②shell命令记录: 一.ifconfig命令是Linux中用于显示或配置网络设备的命令,英文全称是ne…

Hadoop：hadoop fs、hadoop dfs与hdfs dfs命令的区别

http://blog.csdn.net/pipisorry/article/details/51340838 'Hadoop DFS'和'Hadoop FS'的区别 While exploring HDFS, I came across these two syntaxes for querying HDFS: > hadoop dfs > hadoop fs why we have two different syntaxes for a common purpose 为什么会对同一个功能…

Linux服务器时间相关命令记录

前言以往安装服务器时间都是正常,但是最近服务器的时间经常出现问题,所以在安装配置完成服务器之后需要对服务器的时间进行测试,如果服务器时间异常,那么当程序去取系统时间的时候就会出现问题. 时间相关命令记录查看时间:date 同步时间: 安装ntpdate工具 yum -y install ntp ntpdate 设置系统时间与网络时间同步 ntpdate cn.pool.ntp.org 将系统时间写入硬件时间 hwclock --systohc 调整时区: timedatectl set-ti…

hadoop学习笔记（五）：HDFS Shell命令

一.HDFS文件命令以下是比较重要的一些命令: [root@master01 hadoop]# hadoop fs -ls / //查看根目录下的所有文件 [root@master01 hadoop]# hadoop fs -lsr / //循环查看 [root@master01 hadoop]# hadoop fs -mkdir /data //创建文件夹 .... //与linux类似二.HDFS管理命令三.HDFS文件管理工具四.HDFS任务调度命令…

HDFS shell命令行常见操作

hadoop学习及实践笔记—— HDFS shell命令行常见操作附:HDFS shell guide文档地址 http://hadoop.apache.org/docs/r2.5.2/hadoop-project-dist/hadoop-common/FileSystemShell.html 启动HDFS后,输入hadoop fs命令,即可显示HDFS常用命令的用法 [hadoop@localhost hadoop-2.5.2]$ hadoop fs Usage: hadoop fs [ge…

hadoop2.5.2学习及实践笔记（五）—— HDFS shell命令行常见操作

附:HDFS shell guide文档地址 http://hadoop.apache.org/docs/r2.5.2/hadoop-project-dist/hadoop-common/FileSystemShell.html 启动HDFS后,输入hadoop fs命令,即可显示HDFS常用命令的用法 [hadoop@localhost hadoop-]$ hadoop fs Usage: hadoop fs [generic options] [-appendToFile <localsrc…

hdfs shell命令及java客户端编写

一. hdfs shell命令可以通过hadoop fs 查看所有的shell命令及其用法. 传文件到hdfs: hadoop fs -put /home/koushengrui/Downloads/hadoop-2.7.4.tar.gz hdfs://centos1:9000/ 注意,代表hdfs文件系统的hdfs://centos1:9000/最后面的斜杠不要漏掉,/代表根目录. 从hdfs下载文件: hadoop fs -get hdfs://centos1:9000/ /home/ko…

Vim 命令记录与回放

步骤如下: q+(a..z)寄存器名: 执行你要执行的操作: q 结束操作: 调用为@+寄存器: 列子如下: 在写PHP 程序时用的比较多的是创建函数: 如 function add_in(){ } 现在来命令记录: qf f为寄存器名: Ifunction <ESC>A(){<ESC>o}><ESC> q 结束使用方法: add_in<ESC>@f @@ 为重复上一次调用命令记录的寄存器和用于yank和删除命令的寄存器是同一个东西: 修改寄存器的…

Centos下磁盘管理的常用命令记录（如查找大文件）

Centos下磁盘管理的常用命令记录查看系统磁盘空间占用,使用命令: df -h 结果: 查看磁盘inode使用情况,如果inode用完了,磁盘就没法写入新的内容了: df -i 结果: 如何查找磁盘上的大文件: linux下的find命令用来查找文件,通过man find就知道它是无所不能的.所以按照文件大小来查找文件就不在话下.从man find搜索size,可以看到如下信息: -size n[cwbkMG] File uses n units of space. The followi…

saltstack 开发相关命令记录

SALT API开发相关命令记录. 查看当前的salt key信息salt-key -L 测试被控主机的连通性salt '*' test.ping 远程命令执行测试salt '*' cmd.run 'uptime' 根据被控主机的grains信息进行匹配过滤salt -G 'os:Centos' test.ping 显示被控主机的操作系统类型salt '*' grains.item os 远程代码执行测试salt '*' cmd.exec_code python 'import sys; pri…

hdfs du命令是算的一份数据

As you can see, hadoop fsck and hadoop fs -dus report the effective HDFS storage space used, i.e. they show the “normal” file size (as you would see on a local filesystem) and do not account for replication in HDFS. In this case, the directory path/t…

Hadoop点滴-何时使用hadoop fs、hadoop dfs与hdfs dfs命令

何时使用hadoop fs.hadoop dfs与hdfs dfs命令编辑删除 hadoop fs:使用面最广,可以操作任何文件系统. hadoop dfs与hdfs dfs:只能操作HDFS文件系统相关(包括与Local FS间的操作),前者已经Deprecated,一般使用后者.…

Git 实用命令记录

自从上次写了一篇 Git 入门的相关博客以来,一直自以为自己能完全的掌握 Git,其实不然,今天一小伙问我,如何删除远程上面的一个分支,呃,不会. git branch -d 分支名只能删除本地的一个分支 ,删除远程分支的命令为 git push origin --delete 分支名记得一朋友问我,你给我的这个地址上的代码怎么下载下来啊,我把我上篇博客推给了他,然后他看了半天,你这都写的啥,我只要看你的代码就可以了,你教我怎么下载下来,其实他想要的其实就一条命令而已 git clone…

HDFS 其他命令---fsck

HDFS 其他命令 HDFS支持fsck命令用以检查各种不一致.fsck用以报告各种文件问题,如 block丢失或缺少block等.fack 命令用法如下: hdfs fsck <path> [-move | -delete | -openforwrite] [-files [-blocks [-locations | -racks]]] <path> 检查的起始目录 -move 将损坏的文件移动到/lost+found 下面 -delete 删除损坏的文件 -openforwri…

etcd常用命令记录

etcd常用命令记录 1.查看etcd的版本 [root@etcd01 ssl]# curl -L http://127.0.0.1:2379/version {"etcdserver":"3.3.10","etcdcluster":"3.3.0"} 2.查看etcd暴露出来的prometheus指标:在prometheus对其监控时使用 curl -L http://127.0.0.1:2379/metrics 注:…

bash如何向上向下移动历史命令记录

bash如何在历史命令记录中上下移动? 通过bash本身的设置,就可以做到! : 用shift+up , shift+down 来上下移动 : 单纯的up/down是调用历史命令…

Git的常用命令记录

Git的常用命令记录 1.与远程仓库建立连接,即关联一个远程库 git remote add origin git@server-name:path/repo-name.git; 2.查看当前分支创建分支切换分支删除分支 git branch; 查看当前所有分支,分支前有*的为你当前所在的分支. git checkout -b dev; 创建dev分支并切换: git branch dev; 创建dev分支: git chec…

CentOS7开放端口以及常用的使用命令记录整理

CentOS7与以前常用的CentOS6还是有一些不同之处的,比如在设置开放端口的时候稍许有些不同,常用的iptables命令已经被firewalld代替.这几天正好有在CentOS7系统中玩Seafile自建网盘,默认的时候是没有开启8082端口的,然后看到CentOS7开放端口稍微与CentOS6不同,这里本着学习和记录的习惯,将CentOS7开放端口以及常用的使用命令记录整理. 这样在以后遇到有需要CentOS7开放端口和命令的时候直接翻阅使用到,内容比较基础,对于大佬来说简单,但是我记忆…