Redis Python（二）

Infi-chu:

http://www.cnblogs.com/Infi-chu/

一、NoSQL（Not only SQL）
1.泛指非关系数据库
2.不支持SQL语法
3.存储结构与传统的关系型数据库不同，NoSQL的存储形式是key-value形式
4.NoSQL中没有通用语言，每种NoSQL都有自己的api和语法，以及擅长的业务场景
5.产品种类较多：
    Redis
    MongoDB
    Hbase Hadoop
    Cassandra Hadoop

二、NoSQL与SQL比较
1.适应场景不同：
    SQL：关系比较复杂的数据查询场景
    NoSQL：与SQL相反
2.事务特性的支持：
    SQL：非常完善
    NoSQL：基本不支持
3.两者取长补短，在慢慢融合

三、Redis特性
1.Redis支持数据的持久化，可以将内存中的数据保存在磁盘中，重启的时候可以再次加载使用
2.不仅支持key-value，还支持set、zset、list、hash等数据结构存储
3.Redis支持数据的备份，Master-Slave模式

四、Redis优势
1.性能高。读能力：110000次/秒，写能力：81000/秒
2.丰富的数据类型。Redis支持二进制案例的Strings，Lists，Hashes，Sets及Ordered Sets数据类型操作
3.原子。Redis的所有操作都是原子性的，Redis还支持对几个操作合并后的原子性执行
4.丰富的特性。Redis支持publish/subscribe，通知，key过期等

五、Redis应用场景
1.用来做缓存
2.在某些特定的应用场景下替代传统数据库——社交类
3.在一些大型系统中，实现一些特定的功能——session共享、购物车

六、Redis核心配置
1.配置文件（通常情况）：
/etc/redis/redis.conf
2.绑定ip，如果需要远程，可绑定真实ip：
bind 127.0.0.7
3.端口（默认6379）：
port 6379
4.是否以守护进程运行：
    *如果以守护进程运行，则不会再命令行阻塞，类似于服务
    *如果以非守护进程运行，则当前终端被阻塞
    *设置为yes表示守护进程，no为非守护进程
daemonize yes
5.数据文件：
dbfilename dump.rdb
6.日志文件：
logfile */var/log/redis/redis-server.log*
7.数据库（默认16个）：
database 16
8.主从复制，类似于双机备份
slaveof

七、Redis启动
1.服务端：
ps aux |grep redis    # 查看redis服务进程
kill -9 pid # 杀死redis服务
redis-server /etc/redis/redis.conf # 指定加载的配置文件
2.客户端：
redis-cli
select 10 # 切换数据库
ping    # ping ip

八、数据操作
1.string
    常用语
    keys 正则
    set
    get
    mset key1 value1 key2 value2    # 多set操作
    mget key1 key2     # 多get操作
    append    # 追加
    del    key    # 删除
    setex key time value    # 设置过期时间
    exists key # 判断键是否存在，存在返回1，否则0
    type key # key类型
    ttl key    # 查看过期时间
    expire key time    # 对于已有键设置过期时间
2.hash（存储的是对象）
    常用语
    keys 正则
    hest key field value    # 设置key的属性field的value
    hmset key field1 value1 field2 value2
    hget key field
    hmget key1 key2
    hdel key filed
3.list
    常用语
    lrem key count value    # count>0,从头往尾移除；count<0,从尾往头移除；count=0,移除所有
    lset key index value    # 修改索引下标的值
    lpush key value1 value2 # 在键的左侧加入value1/value2
    rpush key value1 value2 # 在键的右侧加入value1/value2
    linsert key before/after value1 value2    # 在该键的value1元素的前/后插入value2元素
    lrange key start stop    # 从start下标索引开始取，到stop索引为止
4.set
    常用语
    sadd key value1 value2    # 添加value1
    smembers key    # 获取所有元素
    sismember key value    # 判断元素是否在集合中
    srem key    # 删除键
5.zset（有序集合）
    常用语
    zadd key score1 value1 score2 value2    # 添加vlaue1,value2,权重分别是score1,score2
    zrange key start stop    # 获取key中的元素，从start开始至stop
    zrangebyscore key min max    # 获取key中权重在min和max之间的成员(值)
    zscore key value    # 获取键的value的score
    zrem key value1 value2    # 删除指定键中的value
    zremrangebyscore key min max    # 删除键中score在min至max之间的元素
【注】
集合没有修改操作

九、Python操作Redis
1.安装：
pip install redis
2.导入：
from redis import StrictRedis
3.eg.
db = StrictRedis(host="127.0.0.1",port=6379)
db.set(key,value)

十、各个数据类型包含方法：
1.string
    set
    setex
    mset
    append
    get
    mget
    key
2.keys
    exists
    type
    delete
    expire
    getrange
    ttl
3.hash
    hset
    hmset
    hkeys
    hget
    hmget
    hvals
    hdel
4.list
    lpush
    rpush
    linsert
    lrange
    lset
    lrem
5.set
    sadd
    smembers
    srem
6.zset
    zadd
    zrange
    zrangebyscore
    zscore
    zrem
    zremrangebyscore

十一、Redis主从
1.master配置：
vim /etc/redis/redis.conf
bind master_ip
2.slave配置：
cp redis.conf slave.conf
vim slave.conf
bind master_ip
salveof slave_ip:port
port master_port
redis-server slave.conf
3.查看主从关系：
redis-cli -h master_ip info Replication

十二、集群
1.一主可以多从，但是当访问量过大时（1000W），主服务器可能就会挂掉，或发生自然灾害等
2.服务器需要分布多地
3.集群是一组相互独立、通过高速网络互连的计算机，它们构成了一个组，并以单一系统的模式加以管理。一个客户与集群相互作用时，集群就像是一个独立的服务器。集群配置是用于提高高可用性和可缩放性

十三、Redis集群
1.7000.conf
    port 7000
    bind 172.16.179.130
    daemonize yes
    pidfile 7000.pid
    cluster-enabled yes
    cluster-config-file 7000_node.conf
    cluster-node-timeout 15000
    appendonly yes
2.7001.conf
    port 7001
    bind 172.16.179.130
    daemonize yes
    pidfile 7001.pid
    cluster-enabled yes
    cluster-config-file 7001_node.conf
    cluster-node-timeout 15000
    appendonly yes
3.7002.conf
    port 7002
    bind 172.16.179.130
    daemonize yes
    pidfile 7002.pid
    cluster-enabled yes
    cluster-config-file 7002_node.conf
    cluster-node-timeout 15000
    appendonly yes
4.启动
    redis-server 7000.conf
    redis-server 7001.conf
    redis-server 7002.conf
【注】以上机器在172.16.179.130上,三个文件的配置区别在port、pidfile、cluster-config-file三项
5.7003.conf
    port 7003
    bind 172.16.179.131
    daemonize yes
    pidfile 7003.pid
    cluster-enabled yes
    cluster-config-file 7003_node.conf
    cluster-node-timeout 15000
    appendonly yes
6.7004.conf
    port 7004
    bind 172.16.179.131
    daemonize yes
    pidfile 7004.pid
    cluster-enabled yes
    cluster-config-file 7004_node.conf
    cluster-node-timeout 15000
    appendonly yes
7.7005.conf
    port 7005
    bind 172.16.179.131
    daemonize yes
    pidfile 7005.pid
    cluster-enabled yes
    cluster-config-file 7005_node.conf
    cluster-node-timeout 15000
    appendonly yes
【注】以上机器在172.16.179.131上,三个文件的配置区别在port、pidfile、cluster-config-file三项    
8.启动
    redis-server 7003.conf
    redis-server 7004.conf
    redis-server 7005.conf

9.安装ruby环境
10.创建集群
cp /usr/share/doc/redis-tools/examples/redis-trib.rb /usr/local/bin/
redis-trib.rb create --replicas 1 172.16.179.130:7000 172.16.179.130:7001 172.16.179.130:7002 172.16.179.131:7003 172.16.179.131:7004 172.16.179.131:7005

十四、验证集群
redis-cli -h 172.16.179.131 -c -p 7002
set test_name test_value

十五、在哪个服务器上写数据（CRC16算法）
    1.redis cluster在设计的时候，就考虑到了去中心化，去中间件，也就是说，集群中 的每个节点都是平等的关系，都是对等的，每个节点都保存各⾃的数据和整个集 群的状态。每个节点都和其他所有节点连接，而且这些连接保持活跃，这样就保 证了我们只需要连接集群中的任意一个节点，就可以获取到其他节点的数据
    2.Redis集群没有并使用传统的一致性哈希来分配数据，而是采用另外一种叫做哈希槽 (hash slot)的方式来分配的。redis cluster 默认分配了 16384 个slot，当我们 set一个key 时，会用CRC16算法来取模得到所属的slot，然后将这个key 分到哈 希槽区间的节点上，具体算法就是：CRC16(key) % 16384。所以我们在测试的 时候看到set 和 get 的时候，直接跳转到了7000端口的节点
    3.Redis 集群会把数据存在一个 master 节点，然后在这个 master 和其对应的salve 之间进行数据同步。当读取数据时，也根据一致性哈希算法到对应的 master 节 点获取数据。只有当一个master 挂掉之后，才会启动一个对应的 salve 节点，充当 master
    【注】必须要3个或以上的主节点，否则在创建集群时会失败，并且当存 活的主节点数小于总节点数的一半时，整个集群就无法提供服务了

十六、Python与集群交互
1.安装：
pip install redis-py-cluster
2.eg.
from rediscluster import *
if __name__ == '__main__':
  try:
    # 构建所有的节点，Redis会使⽤CRC16算法，将键和值写到某个节点上
    startup_nodes = [
        {'host': '192.168.26.128', 'port': '7000'},
        {'host': '192.168.26.130', 'port': '7003'},
        {'host': '192.168.26.128', 'port': '7001'},
    ]
    # 构建StrictRedisCluster对象
    src=StrictRedisCluster(startup_nodes=startup_nodes,decode_responses=True)
    # 设置键为name、值为itheima的数据
    result=src.set('name','itheima')
    print(result)
    # 获取键为name
    name = src.get('name')
    print(name)
  except Exception as e:
    print(e)