在HDFS中,提供了fsck命令,用于检查HDFS上文件和目录的健康状态.获取文件的block块信息和位置信息等. 具体命令介绍: -move: 移动损坏的文件到/lost+found目录下 -delete: 删除损坏的文件 -openforwrite: 输出检测中的正在被写的文件 -list-corruptfileblocks: 输出损坏的块及其所属的文件 -files: 输出正在被检测的文件 -blocks: 输出block的详细报告 (需要和-files参数一起使用) -locations…

关键字:hdfs fsck.block.locations 在HDFS中,提供了fsck命令,用于检查HDFS上文件和目录的健康状态.获取文件的block信息和位置信息等. fsck命令必须由HDFS超级用户来执行,普通用户无权限. [hadoop@dev ~]$ hdfs fsck Usage: DFSck [-list-corruptfileblocks | [-move | -delete | -openforwrite] [-files [-blocks [-locations | -r…

有些hive安装文档提到了hdfs dfs -mkdir ,也就是说hdfs也是可以用的,但在2.8.0中已经不那么处理了,之所以还可以使用,是为了向下兼容. 本文简要介绍一下有关的命令,以便对hadoop的命令有一个大概的影响,并在想使用的时候能够知道从哪里可以获得帮助. 概述 在$HADOOP_HOME/bin下可以看到hadoop和hdfs的脚本. hdfs的相当一部分的功能可以使用hdoop来替代(目前),但hdfs有自己的一些独有的功能.hadoop主要面向更广泛复杂的功能. 本文介绍…

关于Hadoop [root@master ~]# hadoop --help Usage: hadoop [--config confdir] COMMANDwhere COMMAND is one of: fs run a generic filesystem user client version print the version jar <jar> run a jar file checknative [-a|-h] check native hadoop and compressi…

本篇主要对hadoop命令和hdfs命令进行阐述,yarn命令会在之后的文章中体现 hadoop fs命令可以用于其他文件系统,不止是hdfs文件系统内,也就是说该命令的使用范围更广可以用于HDFS.Local FS等不同的文件系统.而hdfs dfs命令只用于HDFS文件系统: 一.hadoop命令 使用语法:hadoop [--config confdir] COMMAND #其中config用来覆盖默认的配置 ##command #子命令 fs run a generic filesyst…

HDFS重启集群导致数据损坏,使用fsck命令修复过程 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 我们先看一组输出 [root@flume112 ~]# hdfs fsck /user/kuaikan/report_new//// Connecting to namenode via http://calculation111.aggrx:50070 FSCK started by root (auth:SIMPLE) from //// at Sat May :: CS…

在HDFS中,提供了fsck命令,用于检查HDFS上文件和目录的健康状态.获取文件的block信息和位置信息等. 我们在master机器上执行hdfs fsck就可以看到这个命令的用法. [hadoop-twq@master ~]$ hdfs fsck Usage: hdfs fsck <path> [-list-corruptfileblocks | [-move | -delete | -openforwrite] [-files [-blocks [-locations | -racks…

一.常用命令:(hbase shell 进入终端) 1.创建表: create 'users','user_id','address','info' 表users,有三个列族user_id,address,info 2.列出全部表 list 3.得到标的信息 describe'users' 4.删除表 disable 'users' drop 'users' 5.清空表 truncate 'users' 6.添加记录 put 'users','xiaoming','info:age','24'…

Hadoop之Storm命令 1.storm核心概念 stream--->一列火车 tuple--->一节车厢 数据--->乘客 spout--->始发站 bolt--->中间站点 bolt--->中间站点 bolt--->终点 topology(拓扑)…

FROM : http://www.2cto.com/database/201303/198460.html hadoop hdfs常用命令   hadoop常用命令:  hadoop fs  查看Hadoop HDFS支持的所有命令    hadoop fs –ls  列出目录及文件信息    hadoop fs –lsr  循环列出目录.子目录及文件信息    hadoop fs –put test.txt /user/sunlightcs  将本地文件系统的test.txt复制到HDFS文…

转自:http://www.linuxso.com/command/fsck.html 使用权限 : 超级使用者 使用方式 : fsck [-sACVRP] [-t fstype] [--] [fsck-options] filesys [...] 说明 : 在Linux系统中,为了增加系统性能,通常系统默认一些数据写在内存中,并不会直接将数据写入硬盘,这是因为内存速度要比硬盘快若干倍.但是有个问题,万一由于“断电”或者其他未知原因,造成系统死机,怎么办?系统就崩溃了.所以,我们需要在特定的时候…

在windows下,磁盘的文件系统出错,需要运行chkdsk命令进行修复.而在linux下,则需要运行fsck命令.由于linux对于文件系统的错误非常敏感,由于意外断电或者其它原因导致linux系统意外关机或者重启,都可能对linux的文件系统造成严重的损坏,从而导致不能正常地进入系统.这也使得fsck变成一个不可或缺的命令.然而这个fsck命令却有一个致命的软肋,就是对于已经挂载了的分区运行具有极大的危险性,远不如windows下的chkdsk命令的安全.本文以ubuntu系统为例进行讲述.…

hadoop安装步骤: 安装java 安装hadoop 下载地址:http://apache.claz.org/hadoop/common/ (说明:该网址current文件夹下,是最新版) hadoop 相关信息: 资源 所在文件夹 安装目录(我本机安装到的目录) /usr/local/hadoop 所有Hadoop配置文件 $HADOOP_HOME/etc/hadoop 验证Hadoop的安装 步骤: 名称节点设置: bin目录下运行:./hdfs namenode -format 最后提示…

fsck(file system check)用来检查和维护不一致的文件系统.若系统掉电或磁盘发生问题,可利用fsck命令对文件系统进行检查. fsck常见命令参数 -a:自动修复文件系统,不询问任何问题: -A:依照/etc/fstab配置文件的内容,检查文件内所列的全部文件系统: -N:不执行指令,仅列出实际执行会进行的动作: -P:当搭配"-A"参数使用时,则会同时检查所有的文件系统: -r:采用互动模式,在执行修复时询问问题,让用户得以确认并决定处理方式: -R:当搭配&quo…

基础命令学习目录首页 本文出自 “airfish2000” 博客,更多命令查看博客: http://airfish2000.blog.51cto.com/10829608/1880801   fsck命令 使用fsck命令可以检查文件系统并尝试修复系统的错误. 命令语法: fsck [选项] [文件系统] 命令中各选项的含义如表所示. 表                                fsck命令选项含义 选项 含义 -a 自动修复文件系统,不询问任何问题 -A 按照/etc/f…

HDFS 其他命令 HDFS支持fsck命令用以检查各种不一致.fsck用以报告各种文件问题,如 block丢失或缺少block等.fack 命令用法如下: hdfs fsck <path> [-move | -delete | -openforwrite] [-files [-blocks [-locations | -racks]]] <path> 检查的起始目录 -move 将损坏的文件移动到/lost+found 下面 -delete 删除损坏的文件 -openforwri…

使用fsck命令修复磁盘时 一定要进入单用户模式去修复 语 法fsck.ext4[必要参数][选择参数][设备代号] 功 能fsck.ext4 命令: 针对ext4型文件系统进行检测 参数  -a 非互交模式,自动修复 -c 检查是否存在有损坏的区块. -C<反叙述器> fsck.ext3命令会把全部的执行过程,都交由其逆向叙述,便于监控程序 -d 详细显示命令执行过程 -f 强制进行检查 -F 检查文件系统之前,先清理该保存设备块区内的数据  -l<损坏区块文件> 把文件中所列出…

注:hadoop的使用命令包含 hadoop fs 开头 or hdfs dfs开头 等多种形式来操作. 这里以hadoo fs的形式来介绍在这些命令 1.列出根目录下所有的目录或文件 hadoop fs -ls / 2.列出/user目录下的所有目录和文件 hadoop fs -ls /home 3.列出/user目录及其子目录下的所有文件 hadoop fs -ls -R /home 4.创建/soft目录 hadoop fs -mkdir /soft 5.创建多级目录 hadoop fs…

head命令 head命令用于显示文件的开头的内容.在默认情况下,head命令显示文件的头10行内容. -n<数字>:指定显示头部内容的行数: -c<字符数>:指定显示头部内容的字符数: -v:总是显示文件名的头信息: -q:不显示文件名的头信息. 除了最后9行,其他的都显示 head -n -9 a.txt tail命令 tail命令用于输入文件中的尾部内容.tail命令默认在屏幕上显示指定文件的末尾10行.如果给定的文件不止一个,则在显示的每个文件前面加一个文件名标题.如果没有…

功能说明:查找文件里符合条件的字符串. 语 法:grep [-abcEFGhHilLnqrsvVwxy][-A<显示列数>][-B<显示列数>][-C<显示列数>][-d<进行动作>][-e<范本样式>][-f<范本文件>][--help][范本样式][文件或目录...] 补充说明:grep 指令用于查找内容包含指定的范本样式的文件,如果发现某文件的内容符合所指定的范本样式,预设grep指令会把含有范本样式的那一列显示出来.若不指定任…

 1.文件搜索命令:locate [文件名]    在后台数据库中按文件名搜索,搜索速度比find快,耗费资源更少    例子:locate test.txt,就会显示文件名包含 test.txt的所有文件以及这些文件所在的目录    但对于新建的一个文件,立即使用locate搜索是搜索不到的,因为locate不是遍历所有的文件进行搜索的,而是在locate 自己的数据库中进行搜索的,它的数据库的位置在 /var/lib/mlocate/.因为不需要遍历所有的文件,只是通过自己的数据库进行搜搜,…

一.crond简介 二.crond服务 三.crontab命令详解 四.使用注意事项 linux系统是由 cron (crond) 这个系统服务来控制的.Linux 系统上面原本就有非常多的计划性工作,因此这个系统服务是默认启动的.另外, 由于使用者自己也可以设置计划任务,所以, Linux 系统也提供了使用者控制计划任务的命令 :crontab 命令. 一.crond简介 crond是linux下用来周期性的执行某种任务或等待处理某些事件的一个守护进程,与windows下的计划任务类似,当安装…

ls命令是linux下最常用的命令.ls命令就是list的缩写缺省下ls用来打印出当前目录的清单如果ls指定其他目录那么就会显示指定目录里的文件及文件夹清单. 通过ls 命令不仅可以查看linux文件夹包含的文件而且可以查看文件权限(包括目录.文件夹.文件权限)查看目录信息等等.ls 命令在日常的linux操作中用的很多! 1. 命令格式: ls [选项] [目录名] 2. 命令功能: 列出目标目录中所有的子目录和文件. 3. 常用参数: -a, –all 列出目录下的所有文件,包括以…

ls命令是linux下最常用的命令.ls命令就是list的缩写缺省下ls用来打印出当前目录的清单如果ls指定其他目录那么就会显示指定目录里的文件及文件夹清单. 通过ls 命令不仅可以查看linux文件夹包含的文件而且可以查看文件权限(包括目录.文件夹.文件权限)查看目录信息等等.ls 命令在日常的linux操作中用的很多! 1. 命令格式: ls [选项] [目录名] 2. 命令功能: 列出目标目录中所有的子目录和文件. 3. 常用参数: -a, –all 列出目录下的所有文件,包括以…

<The Linux Command Line> 读书笔记02 关于命令的命令 命令的四种类型 type type—Indicate how a command name is interpreted. type命令:展示命令的类型. which which—Display which executable program will be executed. which命令:展示可执行命令的位置. 因为可执行命令有可能会有多个版本,所以有必要根据位置来判断究竟是哪个. which仅对可执行程序…

命令回显 通常, make 在执行命令行之前会把要执行的命令行输出到标准输出设备.我们称之为"回显",就好像我们在 shell 环境下输入命令执行时一样. 如果规则的命令行以字符" @"开始,则 make 在执行这个命令时就不会回显这个将要被执行的命令. 如果使用make的命令行参数" -n"或" --just-print",那么make执行时只显示所要执行的命令,但不会真正的去执行这些命令.其中也包括了使用" @&…

Linux系统中grep命令是一种强大的文本搜索工具,它能使用正则表达式搜索文本,并把匹 配的行打印出来.grep全称是Global Regular Expr ession Print,表示全局正则表达式版本,它的使用权限是所有用户. wc 1.命令格式: wc [选项]文件... 2.命令功能: 统计指定文件中的字节数.字数.行数,并将统计结果显示输出.该命令统计指定文件中的字节数.字数.行数.如果没有给出文件名,则从标准输入读取.wc同时也给出所指定文件的总统计数. 3.命令参数: -c 统…

1.查看SSH客户端版本 有的时候需要确认一下SSH客户端及其相应的版本号.使用ssh -V命令可以得到版本号.需要注意的是,Linux一般自带的是OpenSSH: 下面的例子即表明该系统正在使用OpenSSH: $ ssh -V OpenSSH_3.9p1, OpenSSL 0.9.7a Feb 19 2003 下面的例子表明该系统正在使用SSH2: $ ssh -V ssh: SSH Secure Shell 3.2.9.1 (non-commercial version) on i686-…

chmod是一条在Unix系统中用于控制用户对文件的权限的命令(change mode单词前缀的组合)和函数.只有文件所有者和超级用户可以修改文件或目录的权限.可以使用绝对模式,符号模式指定文件的权限. ※命令格式 chmod [options] mode files mode可以是数字形式或以who opcode permission形式表示.who是可选的,默认是a(所有用户).只能选择一个opcode(操作码).可指定多个mode,以逗号分开. ※八进制语法chmod命令可以使用八进制数来…

tail 命令用于显示指定文件末尾内容,不指定文件时,作为输入信息进行处理. tail命令常用来查看日志文件.使用tail命令的-f选项可以方便的查阅正在改变的日志文件,tail -f filename会把filename里最尾部的内容显示在屏幕上,并且不但刷新,使你看到最新的文件内容. ※命令格式tail [OPTION] [FILE] ※参数规则-c -bytes=N 显示的字节数-f 循环读取-q 不显示文件头详细信息-v 显示详细的处理信息-n <行数> 显示行数--pid=PID 与…