Python_scrapyRedis零散

1.

# Redis

1.解压，配环境变量

2.win上设置自启动

    redis-server --service-install D:\redis\redis.windows.conf --loglevel verbose

3.启动redis

    redis-server E:\redis\redis-latest\redis.windows.conf

4.进入数据库，另起一个cmd框

    redis-cli -h 127.0.0.1 -p 6379

5.在 redis.windows.conf 中解注 “requirepass foobared”   将foobared改为密码；注：不能有空格

6.重开始登陆 

    redis-cli -h 127.0.0.1 -p 6379 -a 123456
---

## 1.非关系型数据库 Nosql(not noly sql)不是典型数据库 / Key-Values存储系统

- momgoDB 的优势：支持多种查询和支持创建索引
- Redis 速度极快，价格高；持久化和热备时候消耗大量带宽和运力  → 5种数据类型的几种常用方法，默认不支持查询，可以在键上设置

注：memcached 是sql中继器，不算Nosql

redis的字符类型

1.string

2.hash

3.lsit

4.set

---
十大算法 快速排序、
多进程多线程

---
购物车 以前是session，现在是redis
功能：

    商品展示
    购物车操作
    添加删除商品
    结算
    ...

---
## scrapy

### 1.解释scrapy的工作流程

### 2.scrapy的优势

    scrapy自带多进程，能执行整站采集，自动调度器

### 3.多主机爬虫架构

    待整理：...
    一个起始spider(共享主队列)
    一个主机多个从机
    分布式进程

### 在scrapy中使用redis，，去重

    “指纹”：当前对象的唯一标示
    redis每次执行前检查指纹是否存在，再进行添加任务

### 分布式防止终端

### 如何实现架构？

    scrapy自带框架

## scrapy-redis 的分布式实现

    master  主机
    slave    副机
    可移植性好

##