scrapy-redis组件

scrapy-redis组件

可以帮你保存任务和过滤url

redis 数据库

安装

# 下载
wget http://download.redis.io/releases/redis-3.0.6.tar.gz
# 解压
tar xzf redis-3.0.6.tar.gz
# 进入文件件
cd redis-3.0.6
# 编译
make

python连接

安装模块

python3.5 pip -m redis

import redis
conn=redis.Redis(host='127.0.0.1',port=6379)

k1:v1
k2:[v1,v2]
k3:{
    d1:v1
}

# 通过k,v存值
# 字符串
conn.set('k1','v1')

# 列表
conn.push('k2','v1','v2')

# 字典
conn.hset('k3','d1','v1')