工具篇-大数据组件的一些快捷Shell操作

一、Hbase

先来个中文的概括

1. HBase shell窗口进入

执行hbase shell

2. HBase表的创建

# 语法：create <table>, {NAME => <family>, VERSIONS => <VERSIONS>}
# 例如：创建表user，有两个family name：id，f2，且版本数前者为3，后者为1

 hbase(main)> create 'user',{NAME => 'id', VERSIONS => 3},{NAME => 'f2', VERSIONS => 1}

3. HBase表的删除

先disable表
再drop表

 hbase(main)> disable 't1'

 hbase(main)> drop 't1'

4. HBase表的清空

 hbase(main)> truncate 't1'

5. 统计HBase表行数

 count '表名'

6. 显示所有HBase表

 list

7. 查看HBase表结构

 describe 't1'

结果为

Table t1 is ENABLED

t1

COLUMN FAMILIES DESCRIPTION

{NAME => 'T', VERSIONS => '1', EVICT_BLOCKS_ON_CLOSE => 'false', NEW_VERSION_BEHAVIOR => 'false', KEEP_DELETED_CELLS => 'FALSE', CACHE_DATA_ON_WRITE => 'false', DATA_BLOCK_ENCODING => 'NONE', TTL => '2073

600 SECONDS (24 DAYS)', MIN_VERSIONS => '0', REPLICATION_SCOPE => '0', BLOOMFILTER => 'ROW', CACHE_INDEX_ON_WRITE => 'false', IN_MEMORY => 'true', CACHE_BLOOMS_ON_WRITE => 'false', PREFETCH_BLOCKS_ON_OPEN

 => 'false', COMPRESSION => 'SNAPPY', BLOCKCACHE => 'true', BLOCKSIZE => '65536'}

8. 复制HBase表结构

7可以查看到hbase表的结构，把红色部分复制下来加上create '表名'即可

 create 't2',{NAME => 'T', VERSIONS => '1', EVICT_BLOCKS_ON_CLOSE => 'false', NEW_VERSION_BEHAVIOR => 'false', KEEP_DELETED_CELLS => 'FALSE', CACHE_DATA_ON_WRITE => 'false', DATA_BLOCK_ENCODING => 'NONE', TTL => '2073600 SECONDS (24 DAYS)', MIN_VERSIONS => '0', REPLICATION_SCOPE => '0', BLOOMFILTER => 'ROW', CACHE_INDEX_ON_WRITE => 'false', IN_MEMORY => 'true', CACHE_BLOOMS_ON_WRITE => 'false', PREFETCH_BLOCKS_ON_OPEN => 'false', COMPRESSION => 'SNAPPY', BLOCKCACHE => 'true', BLOCKSIZE => '65536'}

二、MongoDB

1. 选择db库

 use DB_NAME

2. 显示集合collections

 show collections

3. 删除集合collections

 db.COLLECTION_NAME.drop()

4. 查看数据库

 > db.stats();

 {

   "db" : "test",        //当前数据库

   "collections" : 3,      //当前数据库多少表

   "objects" : 4,        //当前数据库所有表多少条数据

   "avgObjSize" : 51,      //每条数据的平均大小

   "dataSize" : 204,      //所有数据的总大小

   "storageSize" : 16384,    //所有数据占的磁盘大小

   "numExtents" : 3,

   "indexes" : 1,        //索引数

   "indexSize" : 8176,     //索引大小

   "fileSize" : 201326592,   //预分配给数据库的文件大小

   "nsSizeMB" : 16,

   "dataFileVersion" : {

     "major" : 4,

     "minor" : 5

   },

   "ok" : 1

 }

4. 查看数据表

 > db.表名.stats();

 {

   "ns" : "库名.表名",

   "count" : 1,

   "size" : 56,

   "avgObjSize" : 56,

   "storageSize" : 8192,

   "numExtents" : 1,

   "nindexes" : 1,

   "lastExtentSize" : 8192,

   "paddingFactor" : 1,

   "systemFlags" : 1,

   "userFlags" : 0,

   "totalIndexSize" : 8176,

   "indexSizes" : {

     "_id_" : 8176

   },

   "ok" : 1

 }

5. 用户验证登录

 mongo --host 192.168.0.16 --port 27017 -u "adminUser" -p "adminPass" --authenticationDatabase "admin"

三、Redis

可以参考：https://www.cnblogs.com/hylazphp/p/10153481.html

1. 进入shell

 redis-cli -h localhost -p  -n <db>

2. 读取set

 smembers 'key'

3. 读取set到大小

 scard 'key'

4. 查看所有key

 keys *

5. hashMap查看所有值

 hgetall

6. 查看key的ttl

 ttl 'key' #查看的结果是当前还剩余多少毫秒

7. 设置当前key的ttl

 expire 'key' 10000

8. 清空当前数据库的所有key

 flushdb

9. 查看当前的redis连接数

 info clients

10. 查看redis允许的最大连接数

 config get maxclients

11. 查看命令使用情况

 info commandstats

cmdstat_XXX: calls=XXX,usec=XXX,usec_per_call=XXX
其中，第一个XXX是命令的名称，第二个XXX是命令调用次数，第三个XXX是命令消耗的CPU时间总量（以微秒为单位），第三个XXX是每次调用命令消耗的CPU时间的平均值（以微秒为单位）。

info的命令有很多，可以参考：如何监控Redis的工作状态——INFO命令详解

12. 实时打印出 Redis 服务器接收到的命令，调试用

 monitor

13. AOF 持久化

为了打开 AOF 持久化的功能，我们只需要将 redis.conf 配置文件中的appendonly配置选项设置为yes即可，如果不进行持久化redis重启数据就没了。涉及 AOF 持久化的几个常用配置如下所示：

 appendonly yes

 appendfilename "appendonly.aof"

 appendfsync everysec

appendonly：是否打开 AOF 持久化功能
appendfilename：AOF 文件名称
appendfsync：同步到硬盘的频率

14. redis库中的数据导出导入

法一：可以使用redis-load、redis-dump方法，该方法没用过，自行百度嘿嘿

法二：使用redis-dump-load 1.1包，官网：https://pypi.org/project/redis-dump-load/1.1/

也可以参见博客：https://www.234du.com/1174.html

导出：

 redisdl.py -H ip -p 6379 -d 0 -o /tmp/db0.json

导入：

 redisdl.py -l -H ip -p 6379 -d 12 /tmp/db0.json

四、Docker

1. 查看当前正在运行的容器

 docker ps 或者 sudo docker ps

2. 进入到容器中运行命令

比如，1中拿到了容器的ID xxxx，则可以执行

docker exec -it xxxx /bin/bash 或者 sudo docker exec -it xxxx /bin/bash

3. 本地镜像上传镜像仓库

 docker push [OPTIONS] NAME[:TAG]

4. COPY和ADD命令

Dockerfile中的COPY指令和ADD指令都可以将主机上的资源复制或加入到容器镜像中，COPY指令和ADD指令的唯一区别在于是否支持从远程URL获取资源。它们的注意事项如下：

源路径可以有多个

源路径是相对于执行build的相对路径

源路径如果是本地路径，必须是build上下文中的路径

源路径如果是一个目录，则该目录下的所有内容都将被加入到容器，但是该目录本身不会

目标路径必须是绝对路径，或相对于WORKDIR的相对路径

目标路径如果不存在，则会创建相应的完整路径

目标路径如果不是一个文件，则必须使用/结束

路径中可以使用通配符

示例：

 ADD http://example.com/big.tar.xz /usr/src/things/

5. Dockfile中其他一些命令

注释：以#开头默认是注释；

FROM：

Dockerfile第一条指令应该是FROM。FROM指定一个已经存在的镜像，后续指令都是将基于该镜像进行，这个镜像被称为基础镜像（base iamge）。

MAINTAINER：

告诉Docker该镜像的作者及作者的邮箱地址

RUN：

RUN指令会在shell里使用命令包装器/bin/sh -c 来执行。每条RUN指令都会创建一个新的镜像层，如果该指令执行成功，就会将此镜像层提交，然后继续执行Dockerfile中的下一个指令。

ENV：
ENV key value
用来设置环境变量，后续的RUN可以使用它所创建的环境变量
WORKDIR：
用来指定当前工作目录

6. Docker build命令

 docker build -t runoob/ubuntu:v1 .

-t：镜像的名字及标签，通常 name:tag 或者 name 格式, -f指定Dockfile文件路径，.表示当前目录，docker build 会将这个路径下所有的文件都打包上传给 Docker 引擎，其他的参数参见：Docker命令大全。

五、Zookeeper

1. 连接远程zookeeper服务

./zkCli.sh -server ip:port