数据类型 名字 别名 描述 bigint int8 有符号的8字节整数 bigserial serial8 自动增长的8字节整数 bit [ (n) ]   定长位串 bit varying [ (n) ] varbit 变长位串 boolean bool 逻辑布尔值(真/假) box   平面上的普通方框 bytea   二进制数据(“字节数组”) character [ (n) ] char [ (n) ] 定长字符串 character varying [ (n) ] varchar [

GP数据库 常用SQL语句 --1,查看列名以及类型 select upper(column_name) ,data_type from information_schema.columns where table_schema='ods_hs08' and lower(table_name)=lower('T_ods_hs08_secumreal'); --2,查看表名剔除分区表名 select a.tablename from pg_tables a where a.schemaname='

-- 查询未空闲的进程信息 select * from pg_stat_activity where current_query<>'<IDLE>'; 结果可查看数据库名,进程标识符,用户名,查询语句,是否锁表,查询开始时间,客户端地址等信息. 当执行错误或者锁表,可在客户端处理,可先用取消进程,如果不好用可用终止进程. -- GP查看数据锁 SELECT pid,rolname, rsqname, granted, current_query, datname FROM pg_r

原来一直使用Oracle,新公司使用greenplum后发现系统的并发性差很多,后来才了解因为Oracle属于OLTP类型,而gp数据库属于OLAP类型的.具体了解如下: 数据库系统一般分为两种类型,一种是面向前台应用的,应用比较简单,但是重吞吐和高并发的OLTP类型:一种是重计算的,对大数据集进行统计分析的OLAP类型.Greenplum属于后者,下面简单介绍下两种数据库系统的特点. OLTP(On-Line Transaction Processing,联机事务处理)系统也称为生产系统,它是

Greenplum是关系型的分布式数据库,需要存储的数据库在进入数据库时,将先进行数据分布的处理工作,讲一个表的数据平均分不到每个节点上,并为每个表指定一个分发列(distribute Column),之后根据Hash来分布数据. 本篇介绍查询某模式下所有表的分布键信息,适用于: 排查是否有分布键创建不合理的表,如果分布键是重复率比较高的字段会造成数据分布不均匀,存储过于倾斜. 排查经常做表关联的表是否是相同分布键,这样会提高执行效率. 具体sql如下: SELECT     aaa.nspna

NoSQL 数据库分类 类型 部分代表特点 列存储 HbaseCassandraHypertable顾名思义,是按列存储数据的.最大的特点是方便存储结构化和半结构化数据,方便做数据压缩,对针对某一列或者某几列的查询有非常大的IO优势. 文档存储MongoDBCouchDB文档存储一般用类似json的格式存储,存储的内容是文档型的.这样也就有有机会对某些字段建立索引,实现关系数据库的某些功能. key-value存储Tokyo Cabinet / TyrantBerkeley DBMemcache

day40 详情请看:https://www.cnblogs.com/clschao/articles/9907529.html 数据库 数据库 简而言之可视为电子化的文件柜--存储电子文件的处所,用户可以对文件中的数据运行新增.截取.更新.删除等操作 所谓"数据库"是以一定方式存储在一起.能与多个用户共享.具有尽可能小的冗余度.与应用程序彼此独立的数据集合 DBMS 数据库管理系统 数据库管理系统(英语:Database Management System,简称DBMS)是为管理数据

一.数据库分类 1.小型数据库:access.foxbase 2.中型数据库:informix.sql server.mysql 3.大型数据库:sybase.db2.oracle 二.项目中如何合理地使用数据库,可以依据如下三个方面入手 1.项目的规模 a.负载量有多大,即用户数有多大 b.成本 c.安全性 eg.小型数据库 1.负载量小,用户大概100人之内,比如:留言板.信息管理系统 2.成本在千元之内 3.对安全性要求不高 中型数据库 比如负载量 日访问量5000~10000 成本在万元

greenplum是2(master)+7(segment)的集群规模 系统刚准备上线,是用来做统计数据库的,正在帮忙一个hadoop集群核对其数据的准确性,在这个greenplum库中入了清单数据 后检查分析是部分建表语句存在问题,没有指定字段做分布键,也没有指定其是随机分布,导致默认为第一个字段做为分布键导致数据倾斜. 发现数据库非常慢,几乎是不可用,检查greenplum的状态情况 1.检查greenplum数据库的状态 gpadmin@mdw:~> gpstate   20150227:

1,根据数据库类型拼接不同URL /** * 根据类型不同拼接连接的URL * @param dbType 1:mysql.2:oracle.3:sql server.4:gp * @param ip * @param port * @param databaseName * @return*/ public static String getTestDbUrl(int dbType, String ip, String port, String databaseName){ String ur

KEGG Orthology数据库不仅对基因的功能进行了扩充和整理,还对功能进行了细致的分类: 针对基因的功能,共有3级分类,第一级有6个大类: 打开下面这个链接 http://www.genome.jp/kegg-bin/get_htext?ko00001.keg, 可以看到 如下所示的一级分类 在左上角的4个灰色的朝下的三角形指示了不同的分类层级,第一个代表一级分类,第二个代表二级分类,第三个代表三级分类,第四个代表全部展开: 一级分类包含 代谢相关,遗传信息处理,环境因素处理,细胞过程,生

计算机数据管理技术发展 1. 自由管理阶段 用户以文件形式将数据组织起来,并附属在各自的应用程序下.    1.数据不保存     当时计算机主要用于科学计算,一般不需要将数据长期保存,只是计算某一课题时输入数据,用完就撤走.     2.应用程序管理数据     数据需要由应用程序自己设计.说明(定义)和管理,没有相应的软件系统负责数据的管理工作.应用程 序中不仅要规定数据的逻辑结构,而且要设计物理结构(包括存储结构.存取方法.输入方式等),所以程序 员负担很重.     3.数据不共享   

数据库的分类 1. 关系型数据库 以表为数据库存储数据的单位,关系型数据库是经过数学理论验证可以保存现实生活中任何关系型的数据 2. 非关系型数据库 主要应用在一些特定场景,解决某些具体问题比如解决高并发访问时的数据缓存, (redis数据库属于非关系型数据库, redis内部以键值对的形式保存数据)name=XXX age=XXX 主流数据库的介绍. 1. MySQL: Oracle公司产品,08年被Sun公司收购,09年Sun公司被Oracle收购,开源产品,MySQL被收购后性能大幅提高,

************************************************************ * 标题:MS SQLServer 批量附加数据库 * 说明:请根据下面的注释使用此脚本 * 时间: 2015/7/13 11:16:41 ************************************************************/ USE MASTER GO IF OBJECT_ID('[sp_AttchDataBase]') IS NOT N

类型 部分代表 特点 列存储 Hbase Cassandra Hypertable 顾名思义,是按列存储数据的.最大的特点是方便存储结构化和半结构化数据,方便做数据压缩,对针对某一列或者某几列的查询有非常大的IO优势. 文档存储 MongoDB CouchDB 文档存储一般用类似json的格式存储,存储的内容是文档型的.这样也就有有机会对某些字段建立索引,实现关系数据库的某些功能. key-value存储 Tokyo Cabinet / Tyrant Berkeley DB MemcacheDB

任务:把服务器1上的SQL数据库自动备份到服务器2上,命名格式=数据库名+年月日+小时. 说明: 服务器2=>192.168.0.22 数据库名=>Book 共享文件夹路径:192.168.0.22\Book 解决: 在服务器1新建一个作业,主要内容如下: exec master..xp_cmdshell 'net use Y: \\192.168.0.22\Book "数据库密码" /user:192.168.0.22\administartor' declare @sq

一.KV存储 包括:Redis,Memcached 特点:使用key快速查到其value,Memcached支持string类型的value,Redis除string类型外还支持set,hash,sort set等类型 二.文档存储 包括:MongoDB,CouchDB 特点:使用JSON或者类JSON的BSON数据结构,存储内容为文档类型,能实现部分关系型数据库的功能 三.列存储 包括:HBase,Cassandra 特点:按照列进行数据存储,便于存储结构化和半结构化的数据方便做数据压缩和针对

1.系统数据库(中央管理机构):用来管理用户创建用户数据的数据库. 系统数据库中包含如下数据库: (1)master:记录了sqlserver中所有系统级别的信息,包括所有的登录账户.系统配置,还有其他数据库以及数据库文件的存放位置,初始化信息等. (2)model:模板数据库.当创建新数据库的时候就会有一个模板,我们可以看到我们创建的数据库结构都是相同的,那是应为使用了同一个模板数据库. (3)msdb:完成数据库的代理.备份.作业以及数据库的还原信息 (4)tempdb:用来存储数据库中所有

最近需要将一份db2导出的历史数据入库gp集群,然后把每天的增量数据导出成txt文件和对应的log日志,再ftp传输给另外一台机器.其中陆续碰到一些坑,在此记录 历史文件数据清洗 列分隔符的选择 碰到的第一个问题是db2导出的文件格式.因为之前的db2脚本导出用的是export命令,coldel0x01 nochardel,指定16进制的不可见字符0x01当做列分隔符.而gp的copy命令虽然可以指定列分隔符,但是好像不能使用16进制字符,所以这里的操作时把0x01都sed替换成\((开始尝试使

SELECT TransactionNumber,SUM(CASE WHEN ReasonLevel=0 THEN           TransactionNumber ELSE 0 end ) as Man,sum(CASE WHEN ReasonLevel=1 THEN     TransactionNumber ELSE 0 end ) as WomanFROM codeCenter.dbo.ClaimReasonTree WITH(NOLOCK)GROUP BY Transaction

 数据库简介 数据库分类:关系型数据库.非关系型数据库 常用的关系型数据库有:orcale .mysql .sql server等等 常用的非关系型数据库有: Memcached.redis.mongoDB等           表类型: myIsam:除系统表外,已经很少使用  innoDB:最常用的存储引擎(支持事物.数据行级别锁定机制.外键约束.崩溃恢复等功能)  memory:只存在于内存中,可做临时表 engine=innodb 可以再表后设置数据库类型   反引号作用:如果建立表时