华为bids(不想吐槽)种种原因只能用hbase shell查询,在此记录下自己探索的hbase shell 免得下次要用还得去找 scan 'ogg_sel_ioc_sv_product_name_info',{FILTER=>"SingleColumnValueFilter('cf','CONTRACT_NUMBER',=,'binary:00039816000521',true,true) } scan 'ogg_sel_ioc_sv_product_name_info',{FILT…

一. 为什么hive是数据仓库 hive局限于hdfs, 不能进行记录级别的增删改 hive底层的mapreduce启动耗时很长, 无法做到传统数据库的秒查, 只适合离线分析 hive不支持事务, 无法完成OLTP的要求, OLTP选择hbase或cassandera 二. hive安装 每个hive客户端, 都需要有一个元数据服务来存储元信息(表模式,分区信息), 通常用传统数据库的一个表来存储元信息 hive内部默认用derby存储元信息, 由于derby是单进程存储, 使得不允许两个以上的…

写在前面一: 本文总结基于HBase的SQL查询系统--Salesforce phoenix 写在前面二: 环境说明: 一.什么是Phoenix 摘自官网: Phoenix是一个提供hbase的sql操作的框架,Phoenix是构建在HBase之上的一个SQL中间层. Phoenix全然使用Java编写,代码位于GitHub上,而且提供了一个client可嵌入的JDBC驱动.对于简单的低延迟查询,其性能量级为毫秒.对于百万级别的行数来说,其性能量级为秒.Phoenix并非像HBase那样 用于m…

elasticsearch定义了两种查询方式: 一.索引(index).type.document 相关语句 1.列出所有索引的状态 GET /_cat/indices?v health status index uuid pri rep docs.count docs.deleted store.size pri.store.size yellow open my_index SOgui_yKSXacTlMHQQht9w 5 1 5 0 14.3kb 14.3kb yellow open ba…

一. SQL概述 结构化查询语言(Structured Query Language)简称SQL 1. 它是一种特殊目的的编程语言 2. 它还是一种数据库查询和程序设计语言 (用于存取数据以及查询.更新和管理关系数据库系统;同时也是数据库脚本文件的扩展名) 从上可以看出我们数据库相关工作职位大概两种:DBD和DBA SQL 是1986年10 月由美国国家标准局(ANSI)通过的数据库语言美国标准,接着,国际标准化组织(ISO)颁布了SQL正式国际标准.1989年4月,ISO提出了具有完整性特征的…

在学习Hbase的shell命令,之前先得了解如何进入hbase的shell命令行,通过执行如下简单的命令回车后进入hbase的shell命令行界面 hbase shell 进入hbase命令行后,执行help然后回车,就能看到Hbase的shell命令行下有哪些命令,下面是根据help反馈的几类命令来进行学习: 一. general commands Command list: status, table_help, version, whoami 1.查看整理的状态 hbase(main):…

工作中会遇到一些比较有用的mysql查询语句,有了它,可以对mysql进行更全面的维护和管理,下面就写一下我记录的 1.按照字段ru_id查询dsc_order_goods表中ru_id出现次数由多到少排序 SELECT ru_id,count(*) AS count FROM `dsc_order_goods` GROUP BY ru_id ORDER BY count DESC; 2.允许远程用户登陆mysql grant all PRIVILEGES on *.* to root@'192…

HBase 常用Shell命令 1.进入hbase shell console $HBASE_HOME/bin/hbase shell 如果有kerberos认证,需要事先使用相应的keytab进行一下认证(使用kinit命令),认证成功之后再使用hbase shell进入 2.可以使用whoami命令可查看当前用户 hbase(main):001:0> whoami a6 (auth:SIMPLE) groups: staff, com.apple.sharepoint.group.1, ev…

hive DDL 启动hadoop /apps/hadoop/sbin/start-all.sh 开启MySQL库,用于存放hive的元数据 sudo service mysql start 启动hive hive 在/data/hive3下下载数据库数据 mkdir /data/hive3 cd data/hive3 wget http://192.168.1.100:60000/allfiles/hive3/buyer_log wget http://192.168.1.100:60000/…

Mysql查询语句执行过程   Mysql分为server层和存储引擎两部分,或许可以再加一层连接层   连接层(器) Mysql使用的是典型的C/S架构.连接器通过典型的TCP握手完成连接. 需要注的是, 如果用户名和密码都正确,那么该连接所拥有的权限仅仅是连接成功建立时的所读取到的权限 这就意味着:当连接已经建立后,我们在对该用户的权限进行修改,这些修改要直到该用户再次建立连接时才会生效.   这听起来是个不好的设计,因为一旦建立连接,管理员是无法临时收回权限的. 索性,MySQL也想到了这…