Hadoop常用命令 启动HDFS集群 [hadoop@hadoop1 ~]$ start-dfs.sh Starting namenodes on [hadoop1] hadoop1: starting namenode, logging to /home/hadoop/apps/hadoop-/logs/hadoop-hadoop-namenode-hadoop1.out hadoop2: starting datanode, logging to /home/hadoop/apps/had…

Hbase shell 常用命令(1) link:http://blog.csdn.net/scutshuxue/article/details/6988348 下面我们看看HBase Shell的一些基本操作命令,我列出了几个常用的HBase Shell命令,如下: 名称 命令表达式 创建表 create '表名称', '列名称1','列名称2','列名称N' 添加记录 put '表名称', '行名称', '列名称:', '值' 查看记录 get '表名称', '行名称' 查看表中的记录总数…

  Shell常用命令总结 1  ls命令:列出文件 ls -la 列出当前目录下的所有文件和文件夹 ls a* 列出当前目录下所有以a字母开头的文件 ls -l *.txt 列出当前目录下所有后缀名为txt的文件 2  cp命令:复制  cp a.txt b.txt : 把文件a的内容复制到b文件 cp a.txt ./test : 把文件a复制到text目录下 cp -a test test2:递归的把目录test下所有文件(包括隐藏的文件)复制到新的目录 test2 3  cat命令:查看…

记下常用命令,慢慢补充 1.hadoop 查看hdfs上的目录: hadoop fs -ls /给hdfs上目录授予权限:   hadoop fs -chmod 777 /tmp/hive 在hdfs上创建一个目录: hadoop fs -mkdir /jiatest 把文件上传到hdfs指定目录: hadoop fs -put test.txt /jiatest 上传jar包到hadoop上跑: hadoop jar maven_test-1.0-SNAPSHOT.jar org.jiahon…

1. 简介 HBase是一个分布式的.面向列的开源数据库,源于google的一篇论文<bigtable:一个结构化数据的分布式存储系统>.HBase是Google Bigtable的开源实现,它利用Hadoop HDFS作为其文件存储系统,利用Hadoop MapReduce来处理HBase中的海量数据,利用Zookeeper作为协同服务. 2. HBase的表结构 HBase以表的形式存储数据.表有行和列组成.列划分为若干个列族/列簇(column family). Row Key colu…

1. 简介 HBase是一个分布式的.面向列的开源数据库,源于google的一篇论文<bigtable:一个结构化数据的分布式存储系统>.HBase是Google Bigtable的开源实现,它利用Hadoop HDFS作为其文件存储系统,利用Hadoop MapReduce来处理HBase中的海量数据,利用Zookeeper作为协同服务. 2. HBase的表结构 HBase以表的形式存储数据.表有行和列组成.列划分为若干个列族/列簇(column family). Row Key colu…

进入hbase shell console$HBASE_HOME/bin/hbase shell如果有kerberos认证,需要事先使用相应的keytab进行一下认证(使用kinit命令),认证成功之后再使用hbase shell进入可以使用whoami命令可查看当前用户 hbase(main)> whoami 表的管理1)查看有哪些表 hbase(main)> list 2)创建表 # 语法:create <table>, {NAME => <family>,…

在使用hive shell之前我们需要先安装hive,并启动hdfs 请参考:https://www.cnblogs.com/lay2017/p/9973298.html hive shell 我们先进入安装目录 cd /usr/local/hadoop/hive/apache-hive--bin 使用Hive命令启动hive shell hive 查看一下数据库,发现有一个默认的default 我们需要创建一个新的test数据库 再看一下数据库,test数据库已经创建完成了 我们切换到test…

shell 命令整理     bash shell 含有许多功能,因此有许多可用的命令:本文档仅罗列了一些常用命令及其使用频率较高的参数.#本文档仅罗列了一些常用命令及其使用频率较高的参数.#version 3.0  2017.1.1#Author woodman 一.bash内建命令 命令 描述 Alias 为指定命令定义一个别名 Cd 切换的指定目录 Declare 声明一个变量或变量类型 Echo 将指定字符串输出到STDOUT Exit 强制shell以指定的退出状态码退出 Export…

[问题1]HBase Shell:ERROR: org.apache.hadoop.hbase.IPc.ServerNotRunningYetException: Server is not running yet原因:hadoop处于safe modehadoop dfsadmin -safemode get 查看hadoop当前启动状态是否为safe modehadoop dfsadmin -safemode leave 退出 [问题2]Rowkey设计问题 现象打开HBase的Web端,发…

因为自己不经常使用linux的命令行工具,但是mac的终端还是经常使用的,有些命令总是要想一会或者百度一下才知道怎么用,抽时间整理了一下常用的命令,作为笔记. 常用命令 查看文件操作: ls :列出当前目录下所有文件和目录 cat file:查看文件内容  -n:显示行号 less file:查看文件,支持翻页,支持搜索 使用less打开文件后,可以输入"/关键词"然后回车来搜索关键字,输入n或N可以向下或向上跳转匹配的关键字,如果希望从文件的末尾开始往上搜索,可以使用"?关…

3. 常用命令 3.1 输出 3.1.1 echo命令 echo是Shell的一个内部指令,用于在屏幕上打印出指定的字符串.命令格式: echo arg name="coding" echo '$name\"'+" ${name}" #原样输出 $name\"+ coding echo `date` #当前日期 3.1.2 printf命令 printf 命令用于格式化输出, 是echo命令的增强版.它是C语言printf()库函数的一个有限的变…

Filter Filter 常用于从大量文本.数据中提取需求的部分.下面介绍几个常用的 filter 命令. cut $ cut -c 5-8 textfile.txt # 切出 textfile.txt 中每行的第 5 到第 8 个 character $ cut -f2-4 -d',' textfile.txt # 切出 textfile.txt 中每行的第 2 到第 4 块 field,field 由 delimiter "," 确定 $ cut -f2,4 -d'|' text…

$ cd `dirname $0` 和PWD%}  显示当前目录名称${#var}             替换为变量字符个数特殊变量$ 当前SHELL的PID? 前一个命令的退出状态! 后台执行的上一个工作的PID 读取用户输入read                        从终端读取输入存入内置变量REPLYread var                  从终端读取输入存入变量var    read first .. last       从终端读取多个变量依次存入,若输入较多,…

注:本文转载自疯狂的矩阵一文,http://www.cnblogs.com/520sojustdoit/p/4642568.html ------------------------------------------------------------------------------------------------ 目的:通过对日常使用的一些Linux命令进行总结分享,希望能给大家一些帮助.说明:本文的命令都是在RedHat Linux下测试的,Unix和IBM AIX下的命令有所不同…

一.文件操作相关命令 //进入设备 adb shell //进入指定目录"/data/local/tmp" cd /data/local/tmp //查看目录 ls //进入根目录 cd / //进入指定目录"/data/local/tmp" cd /data/local/tmp //查看分区列表 df //在当前目录下创建名为1的.txt文件(再创建个两个,命名为2和3,方便后面继续学习使用) touch 1.txt //列出所有文件(包括隐藏文件)的详细信息,此…

echo输出命令 echo [选项] [输出内容] -e : 支持反斜线控制的字符转换 赋予执行权限 直接运行 chmond 755 hello.sh ./hello.sh 通过bash调用执行脚本 bash hello.sh alias查看设置别名 #查看系统中所有的命令别名 alias #设定命令别名 alias 别名='原命令' #删除别名unalias 别名 永久别名生效 写入环境变量永久生效 vi ~/.bashrc history历史命令 history [选项] [历史命令保存文件…

此篇文章为博主在Linux学习过程中的一些记录,记录在此方便查阅. 常用命令总结 ls 显示目录内容 (list directory contents) ls 不显示隐藏的文件和子目录 ls -a 显示目录中所有的文件和子目录(包括隐藏文件) ls -l 显示目录中文件和子目录的详细信息(包括权限.大小.创建/修改时间等) ls -lh 文件大小以KB/MB为单位 ls -l|grep "^-"| wc -l 查看当前目录下的文件数量(不包含子目录中的文件)参考 df 查看磁盘空间 (…

UEFI Shell解释 UEFI Shell 是一个提供用户和UEFI系统之间的接口,进入UEFI Shell可以对计算机系统进行配置 命令解释: 单独的help就可以输出所有指令,不做特殊说明,内置命令的命令行参数中的数值使用的是十六进制,和Linux不同的是不区分大小写. 常用命令解释如下: ver will show the shell version 展示shell的版本号 reconnect -r  all EFI drivers should be reconnected 重新连接…

常用命令 · ls 查看当前目录下的文件 · cd 进入某目录 · cd - 跳转回前一目录 · cd ~ 进入当前用户个人目录 · pwd 输出当前所在路径 · mkdir 新建文件夹 · touch 新建文件 · find 查找文件 · ln 建立链接 · du 查看目录大小 · du -sh * 带有单位显示目录信息 · df 查看磁盘大小 · df -h 带有单位显示磁盘信息 · cal 显示日历 · date 显示当前日期.时间 文件传输类 · mv 移动文件/重命名 · cp [Fi…

hbase shell常用的操作命令有create,describe,disable,drop,list,scan,put,get,delete,deleteall,count,status等,通过help可以看到详细的用法…

ADB无线连接手机的方法1)手机与PC有线相连 - 检查是否连接正常: adb devices - 执行以下命令:adb tcpip 5555 # 当前9001       - 成功提示:restarting in TCP mode port 5555 - 然后断开USB       - 查看手机USB调试是否打开:PC端是否安装手机驱动. 2)接着执行adb connect (ip):5555,这时候应该就能连接成功了 - 成功提示:connected to (ip):5555 3) 断开连接…

命令梳理 下载文件 [wget 是一个十分常用命令行下载工具,多数Linux发行版本都默认包含这个工具] wget -c [zip路径等] #断点续传,如果下载中断,那么连接恢复时会从上次断点开始下载. -b .. #后台下载,wget默认的是把文件下载到当前目录. 解压文件 tar 解包:tar zxvf filename.tar 打包:tar czvf filename.tar dirname gz命令 解压1:gunzip filename.gz 解压2:gzip -d filename.…

…

引言:我们维护hadoop系统的时候,必不可少需要对HDFS分布式文件系统做操作,例如拷贝一个文件/目录,查看HDFS文件系统目录下的内容,删除HDFS文件系统中的内容(文件/目录),还有HDFS管理信息,单独启动停止 namenode  datanode  jobtracker  tasktracker等等一系列的操作.大家跟着做一遍呢!就会对HDFS的体系架构有更加深入的理解,不多说我们开始吧.环境操作系统:centos 6.0hadoop版本:0.20.2部署目录:/home/grid/h…

hadoop集群日常运维命令 #1.namenode hadoop namenode -format #格式化,慎用 su hdfs hadoop-daemon.sh start namenode hadoop-daemon.sh stop namenode #2.journalnode hadoop-daemon.sh start journalnode hadoop-daemon.sh stop journalnode #3.zkfc hdfs zkfc -formatZK #格式化,慎用…

Hadoop集群的各部分一般都会使用到多个端口,有些是daemon之间进行交互之用,有些是用于RPC访问以及HTTP访问.而随着Hadoop周边组件的增多,完全记不住哪个端口对应哪个应用,特收集记录如此,以便查询. 这里包含我们使用到的组件:HDFS, YARN, HBase, Hive, ZooKeeper: 组件 节点 默认端口 配置 用途说明 HDFS DataNode 50010 dfs.datanode.address datanode服务端口,用于数据传输 HDFS DataNode…

一.HDFS相关 1.启动NameNode sbin/hadoop-daemon.sh start namenode 2.启动DataNode sbin/hadoop-<span style="color:#ff0000;">daemon</span>.sh start datanode <code class="language-plain">3.启动多个DataNode</code> sbin/hadoop-<…

一.系统操作(开机.关机.登陆等)命令 选项名称 使用格式 含义 reboot 输入回车即可 立刻重启 shutdown shutdown –r   now 立刻重启 shutdown –r  20:35 20:35重启 shutdown –r  10 10分钟之后重启 halt 输入回车即可 立刻关机 shutdown shutdown –h   now 立刻关机 shutdown –h  20:35 20:35关机 shutdown –h  10 20:35关机 exit 输入回车即可 退出…

1.hdfs目录配额 #设置配额目录hdfs dfsadmin -setSpaceQuota 10T /user/hive/warehouser/tmp查看配额目录信息hdfs dfs -count -q -h /user/hive/warehouser/tmp#清除配额目录信息hdfs dfsadmin -clrSpaceQuota /user/hive/warehouser/tmp 2.均衡 $ hdfs dfsadmin -setBalancerBandwidth 1073741824 $…