缓存数据库

一 NoSQL简介

NoSQL(NoSQL = Not Only SQL ),意即“不仅仅是SQL”,泛指非关系型的数据库,随着互联网web2.0网站的兴起,传统的关系数据库在应付web2.0网站,特别是超大规模和高并发的SNS类型的web2.0纯动态网站已经显得力不从心,暴露了很多难以克服的问题,而非关系型的数据库则由于其本身的特点得到了非常迅速的发展。NoSQL数据库的产生就是为了解决大规模数据集合多重数据种类带来的挑战,尤其是大数据应用难题。

非关系型数据库就是NoSQL,关系型数据库代表MySQL

对于关系型数据库来说,是需要把数据存储到库、表、行、字段里,查询的时候根据条件一行一行地去匹配,当量非常大的时候就很耗费时间和资源,尤其是数据是需要从磁盘里去检索

NoSQL数据库存储原理非常简单(典型的数据类型为k-v),不存在繁杂的关系链,比如mysql查询的时候,需要找到对应的库、表(通常是多个表)以及字段。

  1. NoSQL数据可以存储在内存里,查询速度非常快
  2. NoSQL在性能表现上虽然能优于关系型数据库,但是它并不能完全替代关系型数据库
  3. NoSQL因为没有复杂的数据结构,扩展非常容易,支持分布式

NoSQL数据库的四大分类

k-v形式

memcached、redis 适合储存用户信息,比如会话、配置文件、参数、购物车等等。这些信息一般都和ID(键)挂钩,这种情景下键值数据库是个很好的选择。

文档数据库

mongodb将数据以文档的形式储存。每个文档都是一系列数据项的集合。每个数据项都有一个名称与对应的值,值既可以是简单的数据类型,如字符串、数字和日期等;也可以是复杂的类型,如有序列表和关联对象。数据存储的最小单位是文档,同一个表中存储的文档属性可以是不同的,数据可以使用XML、JSON或者JSONB等多种形式存储。

列存储数据库。

这部分数据库通常是用来应对分布式存储的海量数据。键仍然存在,但是它们的特点是指向了多个列。这些列是由列家族来安排的。如:Cassandra, HBase, Riak.

图形(Graph)数据库

图形结构的数据库同其他行列以及刚性结构的SQL数据库不同,它是使用灵活的图形模型,并且能够扩展到多个服务器上。NoSQL数据库没有标准的查询语言(SQL),因此进行数据库查询需要制定数据模型。许多NoSQL数据库都有REST式的数据接口或者查询API。如:Neo4J, InfoGrid, Infinite Graph.

NoSQL数据库在以下的这几种情况下比较适用:

1、数据模型比较简单;

2、需要灵活性更强的IT系统;

3、对数据库性能要求较高;

4、不需要高度的数据一致性;

5、对于给定key,比较容易映射复杂值的环境。

分类

Examples举例

典型应用场景

数据模型

优点

缺点

键值(key-value)

Tokyo Cabinet/Tyrant, Redis, Voldemort, Oracle BDB

内容缓存,主要用于处理大量数据的高访问负载,也用于一些日志系统等等。

Key 指向 Value 的键值对,通常用hash table来实现

查找速度快

数据无结构化,通常只被当作字符串或者二进制数据

列存储数据库

Cassandra, HBase, Riak

分布式的文件系统

以列簇式存储,将同一列数据存在一起

查找速度快,可扩展性强,更容易进行分布式扩展

功能相对局限

文档型数据库

CouchDBMongoDb

Web应用(与Key-Value类似,Value是结构化的,不同的是数据库能够了解Value的内容)

Key-Value对应的键值对,Value为结构化数据

数据结构要求不严格,表结构可变,不需要像关系型数据库一样需要预先定义表结构

查询性能不高,而且缺乏统一的查询语法。

图形(Graph)数据库

Neo4J, InfoGrid, Infinite Graph

社交网络,推荐系统等。专注于构建关系图谱

图结构

利用图结构相关算法。比如最短路径寻址,N度关系查找等

很多时候需要对整个图做计算才能得出需要的信息,而且这种结构不太好做分布式的集群方案。

二 Memcached数据存储方式

Memcached是国外社区网站LiveJournal团队开发,目的是为了通过缓存数据库查询结果,减少数据库访问次数,从而提高动态web站点性能。

Memcached 是一个高性能的分布式内存对象缓存系统,用于动态Web应用以减轻数据库负载。它通过在内存中缓存数据和对象来减少读取数据库的次数,从而提高动态、数据库驱动网站的速度。Memcached基于一个存储键/值对的hashmap。其守护进程(daemon )是用C写的,但是客户端可以用任何语言来编写,并通过memcached协议与守护进程通信。

官方站点 http://www.memcached.org/

数据结构简单(k-v),数据存放在内存里

多线程

基于c/s架构,协议简单

基于libevent的事件处理

自主内存存储处理(slab allowcation)

数据过期方式:Lazy Expiration 和 LRU

Memcached的数据流向:

1 web从db上查询到结果

2 把结果存储到memcached中

3 再次用到该结果,从缓存memcached中取

Slab allocation

1:先把内存分成很多个Slab,这个大小是预先规定好的,以解决内存碎片的问题。分配给Slab的内存空间被称为Page,默认是1M。一个Slab下可以有多个Page。

2.Page为内存分配的最小单位。

Memcached的内存分配以page为单位,默认情况下一个page是1M,可以通过-I参数在启动时指定。如果需要申请内存 时,memcached会划分出一个新的page并分配给需要的slab区域。page一旦被分配在重启前不会被回收或者重新分配

3.然后把一个Page分成很多个chunk块,chunk块是用于缓存记录的空间。Chunk的

大小是先有一个基本值,然后根据增长因子来增大。每一个page中chunk是相等的空间大小。

Memcached里面保存着slab内空闲的chunk列表,当收到要保存的item的时候,它

会根据item的大小,去选择一个最合适的slab,然后找到空闲的chunk,把数据存放进去。

Growth factor

Memcached在启动时通过-f选项可以指定 Growth Factor因子。该值控制chunk大小的差异。默认值为1.25。

通过memcached-tool命令查看指定Memcached实例的不同slab状态,可以看到各Item所占大小(chunk大小)差距为1.25

命令:# memcached-tool 127.0.0.1:11211 display

数据过期方式

Lazy Expiration 

Memcached 内部不会监视记录是否过期,而是在get时查看记录的时间戳,检查记录是否过期。这种技术被称为lazy(惰性)expiration。因此,Memcached不会在过期监视上耗费CPU时间。

LRU(Least Recently Used最近最少使用)

Memcached会优先使用已超时的记录的空间,但即使如此,也会发生追加新记录时空间不足的情况,此时就要使用名为Least Recently Used(LRU)机制来分配空间。顾名思义,这是删除“最近最少使用”的记录的机制。因此,当内存空间不足时(无法从slab class获取到新的空间时),就从最近未被使用的记录中搜索,并将其空间分配给新的记录。从缓存的实用角度来看,该模型十分理想。

懒惰删除机制

删除item对象时,不释放内存,作删除标记,指针放入slot回收插槽,次分配的时候直接使用

注意:memcached的LRU不是全局的,而是针对slab的,可以说是区域性的

三 memcached安装与启动

yum list |grep memcache

yum install -y memcached libmemcached libevent

启动:systemctl start memcached

[root@greg02 ~]#systemctl start memcached

[root@greg02 ~]#ps aux |grep memcache

memcach+   2495  0.0  0.0 325568  1184 ?        Ssl  18:17   0:00 /usr/bin/memcached -u memcached -p 11211 -m 64 -c 1024

root       2502  0.0  0.0 112664   968 pts/0    S+   18:17   0:00 grep --color=auto memcache

参数说明:

-d 是启动一个守护进程

-m 是分配给Memcache使用的内存数量,单位是MB

-u 是运行Memcache的用户

-l 是监听的服务器IP地址

-p 是设置Memcache监听的端口,最好是1024以上的端口

-c 选项是最大运行的并发连接数,默认是1024,按照你服务器的负载量来设定

-P 是设置保存Memcache的pid文件

vim /etc/sysconfig/memcached 可以配置参数

比如加上监听的ip,可以把OPTIONS="" 改为OPTIONS="127.0.0.1"

其中-m指定memcached分配内存

-c指定最大并发数

-u指定运行memcached服务的用户

启动也可以用:memcached -d -m 10    -u root -l 127.0.0.1 -p 12000 -c 256 -P /tmp/memcached.pid

四 查看memcached状态

1.memcached-tool 127.0.0.1:11211  stats

2.echo stats |nc 127.0.0.1 11211需要安装nc工具  yum install -y nc

3.若安装libmemcached(yum install –y memcached)后,可以使用命令

memstat --servers=127.0.0.1:11211 查看memcached服务状态

五 memcached命令行

存储命令: set/add/replace/append/prepend/cas

获取命令: get/gets

其他命令: delete/stats..

telnet 127.0.0.1 11211

Memcached语法规则

<command name> <key> <flags> <exptime> <bytes>\r\n <data block>\r\n

注:\r\n在windows下是Enter键

<command name> 可以是set, add, replace

set表示按照相应的<key>存储该数据,没有的时候增加,有的时候覆盖

add表示按照相应的<key>添加该数据,但是如果该<key>已经存在则会操作失败

replace表示按照相应的<key>替换数据,但是如果该<key>不存在则操作失败。

<key> 客户端需要保存数据的key

<flags> 是一个16位的无符号的整数(以十进制的方式表示)。

该标志将和需要存储的数据一起存储,并在客户端get数据时返回。

客户端可以将此标志用做特殊用途,此标志对服务器来说是不透明的。

<exptime> 为过期的时间。

若为0表示存储的数据永远不过期(但可被服务器算法:LRU 等替换)。

如果非0(unix时间或者距离此时的秒数),当过期后,服务器可以保证用户得不到该数据(以服务器时间为标准)。

<bytes> 需要存储的字节数,当用户希望存储空数据时<bytes>可以为0

<data block>需要存储的内容,输入完成后,最后客户端需要加上\r\n(直接点击Enter)作为结束标志。

Memcached数据示例:

六 Memcached数据导出和导入

导出:

memcached-tool 127.0.0.1:11211 dump >
data.txt

cat data.txt

导入:

nc 127.0.0.1 11211 < data.txt

若nc命令不存在,yum install
nc

注意:导出的数据是带有一个时间戳的,这个时间戳就是该条数据过期的时间点,如果当前时间已经超过该时间戳,那么是导入不进去的

vim
mdata.txt中的设置。

七 PHP连接Memcached

先安装php的memcache扩展

cd
/usr/local/src/

wget
 http://www.apelearn.com/bbs/data/attachment/forum/memcache-2.2.3.tgz

tar
zxf memcache-2.2.3.tgz

cd
memcache-2.2.3

/usr/local/php-fpm/bin/phpize

[root@greg02
memcache-2.2.3]#/usr/local/php-fpm/bin/phpize

Configuring for:

PHP Api Version:         20131106

Zend Module Api No:      20131226

Zend Extension Api
No:   220131226

Cannot find autoconf.
Please check your autoconf installation and the

$PHP_AUTOCONF environment
variable. Then, rerun this script.

解决安装yum
install m4;yum install autoconf

./configure
--with-php-config=/usr/local/php-fpm/bin/php-config

make
&& make install

安装完后会有类似这样的提示:

[root@greg02 memcache-2.2.3]#make install

Installing shared extensions:    
/usr/local/php-fpm/lib/php/extensions/no-debug-non-zts-20131226/

然后修改php.ini添加一行

vim
/usr/local/php-fpm/etc/php.ini

extension="memcache.so”

检查/usr/local/php/bin/php-fpm –m

下载测试脚本

curl
www.apelearn.com/study_v2/.memcache.txt > 1.php 2>/dev/null

1.php内容也可以参考https://coding.net/u/aminglinux/p/yuanke_centos7/git/blob/master/21NOSQL/1.php

执行脚本

/usr/local/php-fpm/bin/php
1.php

或者将1.php放到某个虚拟主机根目录下面,在浏览器访问,即可看到效果

最终可以看到数据如下:

[0] => aaa

[1] => bbb

[2] => ccc

[3] => ddd

八 Memcached中存储session

本实例是在lamp/lnmp环境下实现

编辑php.ini添加两行

session.save_handler
= memcache 

session.save_path = "tcp://192.168.0.9:11211"

或者httpd.conf中对应的虚拟主机中添加

php_value
session.save_handler "memcache" 

php_value session.save_path "tcp://192.168.0.9:11211"

或者php-fpm.conf对应的pool中添加

php_value[session.save_handler]
= memcache

php_value[session.save_path]
= " tcp://192.168.0.9:11211 "

wget
http://study.lishiming.net/.mem_se.txt

mv .mem_se.txt  /usr/local/apache2/htdocs/session.php

其中session.php内容可以参考https://coding.net/u/aminglinux/p/yuanke_centos7/git/blob/master/21NOSQL/session.php

curl localhost/session.php

类似于1443702394<br><br>1443702394<br><br>i44nunao0g3o7vf2su0hnc5440

telnet 127.0.0.1 11211

get i44nunao0g3o7vf2su0hnc5440

 

NoSQL:linux操作memcached的更多相关文章

  1. NoSQL:Linux操作memcached

    一 NoSQL简介 NoSQL(NoSQL = Not Only SQL ),意即"不仅仅是SQL",泛指非关系型的数据库,随着互联网web2.0网站的兴起,传统的关系数据库在应付 ...

  2. python操作memcached以及分布式

    memcached 是以 LiveJournal 旗下 Danga Interactive 公司的 Brad Fitzpatric 为首开发的一款软件.现在已成为 mixi.Facebook.Live ...

  3. Linux下memcached安装和启动方法

    Linux下memcached安装和启动方法 1. 首先下载memcached 和 libevent 包. Memcached用到了libevent这个库用于Socket的处理.下面是下载的两个包文件 ...

  4. linux查看memcached状态

    一.使用memcache top脚本 memcache-top 是一个用 Perl 编写的命令行小工具,用来实时的获取 memcached 缓存服务器的详细信息,例如缓存命中率等.到官网下载脚本,放到 ...

  5. PHP操作Memcached

    一.PHP连接Memcached: 一个简单的使用示例: $memcache = new Memcache; $memcache->connect("127.0.0.1",1 ...

  6. Python操作Memcached

    Memcached 是一个高性能的分布式内存对象缓存系统,用于动态Web应用以减轻数据库负载.它通过在内存中缓存数据和对象来减少读取数据库的次数,从而提高动态.数据库驱动网站的速度.Memcached ...

  7. Linux系统memcached安装

    [memcached安装] Linux系统安装memcached可以自动安装,也可以手动编译安装,这里使用手动编译安装 1.Linux系统安装memcached,首先要先安装libevent库. 下载 ...

  8. NoSQL之一:Memcached

    一.NoSQL简介 NoSQL并不是No SQL(不再需要SQL),而是指Not Only SQL(不仅仅只有SQL).NoSQL并不是用来替代关系型数据库的,而是在某些使用关系型数据库不合适的场景中 ...

  9. Linux操作系统主机名(hostname)简介

    http://www.jb51.net/LINUXjishu/10938.html 摘要:本文是关于Linux操作系统主机名(hostname)的文档,对主要配置文件/etc/hosts进行简要的说明 ...

随机推荐

  1. 【JAVA零基础入门系列】Day2 Java集成开发环境IDEA

    开发环境搭建好之后,还需要一个集成开发环境也就是IDE来进行编程.这里推荐的IDE是IDEA,那个老掉牙的Eclipse还是先放一边吧,(手动滑稽). IDEA的下载地址:http://www.jet ...

  2. PHP通过URL获取文件大小

    function getFileSize($url){ $url = parse_url($url); if($fp = @fsockopen($url['host'],empty($url['por ...

  3. CSS div阴影效果

    <div class="image"><img src="default.jpg" /></div> .image{box- ...

  4. python pip安装方法

    1.python安装,最好是按照32位的版本,64位版本有的时候出现奇怪问题. 2.python安装完成后,需要在系统的环境变量"path"中增加路径设置. 3.一般情况下,使用p ...

  5. iOS开发之AutoLayout中的Content Hugging Priority和 Content Compression Resistance Priority解析

    本篇博客的内容也不算太复杂,算是AutoLayout的一些高级的用法.本篇博客我们主要通过一些示例来看一下AutoLayout中的Content Hugging Priority以及Content C ...

  6. CSS盒子模型之详解

    前言:        盒子模型是css中最核心的基础知识,理解了这个重要的概念才能更好的排版,进行页面布局.一.css盒子模型概念    CSS盒子模型 又称框模型 (Box Model) ,包含了元 ...

  7. 【转载】基于VoiceOver的移动web站无障碍访问实战

    文章转载自 张鑫旭-鑫空间-鑫生活 http://www.zhangxinxu.com/wordpress/ 原文链接:http://www.zhangxinxu.com/wordpress/?p=5 ...

  8. 【特效】hover向上翻转效果

    前段时间做了很多有关css3动画的项目.虽然当时都较圆满的完成了,但事后还是要总结一下的,趁着近期工作不忙,系统的学习了一些动画理论,重点看了transform3D变换,学习了translate平移. ...

  9. Andrid 高级程序员面试题

    ==========================20150518===================================一. Acitvity组件 1. 生命周期&kille ...

  10. spring cloud+dotnet core搭建微服务架构:配置中心续(五)

    前言 上一章最后讲了,更新配置以后需要重启客户端才能生效,这在实际的场景中是不可取的.由于目前Steeltoe配置的重载只能由客户端发起,没有实现处理程序侦听服务器更改事件,所以还没办法实现彻底实现这 ...