SCHEDULER = "scrapy_redis.scheduler.Scheduler" # 使用scrapy-redis的调度器 ITEM_PIPELINES = { 'scrapy_redis.pipelines.RedisPipeline': 400, # 尽量将scrapy-redis的管道类设置为最高 # 'aiwanCrawl.pipelines.AiwancrawlPipeline': 300 自己的爬虫项目中的管道类 } REDIS_HOST = 'redis的IP…

php安装扩展redis淌过的坑 php扩展 redis cd /usr/local/src/ wget https://github.com/nicolasff/phpredis/archive/2.2.4.tar.gz tar zxvf phpredis-2.2.4.tar.gz cd 2.2.4.tar.gz /usr/local/bin/phpize ./configure --with-php-config=/usr/bin/php-config make make install 安…

0.踩坑背景 仍然是torch-rnn/LanguageModel.lua文件中的一些问题,仍然是这个狗血的LM:encode_string函数: function LM:encode_string(s) local encoded = torch.LongTensor(#s) , #s do local token = s:sub(i, i) local idx = self.token_to_idx[token] assert(idx ~= nil, 'Got invalid idx') e…

1.概念 Redis 是一个开源(BSD许可)的,内存中的数据结构存储系统,它可以用作数据库.缓存和消息中间件 2.linux安装redis 2.1yum源安装redis(不推荐) #前提得配置好阿里云yum源,epel源 #查看是否有redis包 yum list redis #安装redis(一般在opt文件下) yum install redis -y #安装好,启动redis systemctl start redis redis-cli #redis 客户端工具 #进入交互式环境后,执…

内容来源:2017 年 8 月 12 日,饿了么高级Python工程师黄光星在“CRUG 2017北京活动”进行<Redis Cluster运维方案>演讲分享.IT 大咖说(微信id:itdakashuo)作为独家视频合作方,经主办方和讲者审阅授权发布. 摘要 本次演讲将介绍饿了么在运维Redis Cluster中遇到的一些坑和原理.还会讨论运维Redis Cluster的具体方案,包括标准化集群.快速应对机器故障.加速slot迁移等.其中将着重分析标准化集群如何治理Redis集群并帮助我们简…

决策树python建模中的坑 代码 #coding=utf-8 from sklearn.feature_extraction import DictVectorizerimport csvfrom sklearn import treefrom sklearn import preprocessingfrom sklearn.externals.six import StringIO allElectronicsData = open(r"D:\workspace\python\files\A…

1.python调用py,在py中的os.getcwd()获取的不是py的路径,可以通过os.path.split(os.path.realpath(__file__))[0]来获取py的路径. 2.当py中有调用类似rar这种命令时,会出现路径问题.这个时候在py同目录下建bat批处理,然后由python调用这个bat.bat格式如下 D:CD D:\XXXcall python xxx.py…

在用django 框架开发 python web 程序的时候 , 在模板页面经常会用到 settings.py 中设置的常量,比如MEDIA_URL, 我尝试过在模板页面用类似如下的方式 程序代码 {{CONSTANT_NAME}} 但 是,是没有效果的,后来只好采用了RequestContext 的方法,起始就是在 render_to_response 的时候,将settings.py 中常量,再次添加到一个 context 中去实现,这样在页面就能用另外一个名字去访问了,感觉很别扭,个人觉得…

phpredis是php的一个扩展,效率是相当高有链表排序功能,对创建内存级的模块业务关系 很有用;以下是redis官方提供的命令使用技巧: 下载地址如下: https://github.com/owlient/phpredis(支持redis 2.0.4) Redis::__construct构造函数$redis = new Redis(); connect, open 链接redis服务参数host: string,服务地址port: int,端口号timeout: float,链接时长 (…

首先不用说先安装django-sqlserver    pip install django-sqlserver 然后在settings.py中修改'ENGINE': 'sqlserver_ado',其他的一样填,不过端口号可以不用填了sqlserver不需要.然后syncdb一下出现了 No moduls name pythoncom  看了下上面的错误import pythoncom报错了,结果大量的搜索了相关资料,这里想说一句baidu真TM的垃圾,就是搜不出来,接着用谷歌搜,也是搜了半天…

Golang中的坑二 for ...range 最近两周用Golang做项目,编写web服务,两周时间写了大概五千行代码(业务代码加单元测试用例代码).用Go的感觉很爽,编码效率高,运行效率也不错,用了beego,avro,xorm,反射.今天和前端联调遇到了一个bug,发现踩到了第二个坑.踩坑不怕,踩过一次就不会再犯了,这就是实践的好处. 坑是这样的:数据采用avro描述,用xorm存取到mysql:对于有嵌套的数据结构,avro生成的go结构体以指针切片的形式声明,xorm Find方法采用…

Golang 中的坑 短变量声明  Short variable declarations 考虑如下代码: package main import ( "errors" "fmt" ) type MyObject struct { Id string Name string } func GetObjects() (objs []MyObject, err error) { return nil, errors.New("get failed")…

配置python+mod_wsgi+apache 时 在浏览器中访问服务器时报错:Invalid HTTP_HOST header: 'XXXXX'. You may need to add u'XXXXX'  to ALLOWED_HOSTS,在setting.py中添加ALLOWED_HOSTS['*"]无效的原因:是apache没有配置ServerName localhost:80 .配置完成后,解决了以上的问题 故障表现的现象是:使用localhost 访问apache是ok的,单无法使…

Django 1.5 有时候需要对一个链接直接重定向,比如首页啥的重定向到一个内容页等等,在views.py 中可以设定,如果没有参数啥的在urls.py 中设定更加方面 from django.views.generic.base import RedirectView 可以实现,其他站点的url,本站的url,以及使用django url路由的命名空间(1.6版本中)几种方式重定向,具体文档看这里 代码片段 urlpatterns = patterns('', url(r'^go-to-dj…

在配置文件redis.conf中,默认的bind 接口是127.0.0.1,也就是本地回环地址.这样的话,访问redis服务只能通过本机的客户端连接,而无法通过远程连接,这样可以避免将redis服务暴露于危险的网络环境中,防止一些不安全的人随随便便通过远程连接到redis服务.如果bind选项为空的话,那会接受所有来自于可用网络接口的连接.例子:比如有两台redis服务器,ip分别为:192.168.1.101和192.168.1.103,如何在101上通过redis-cli访问103上的red…

redis 集群 遇坑1 redis集群需要开2个端口 一个是客户端连接端口 一个是 集群总线端口 集群总线端口 是 客户端端口 + 10000 如 客户端端口是 6380 则集群总线端口 为 16380 每个客户端 执行 flushall 和 cluster reset 恢复初始状态 然后再建集群…

概述 如何让你定义的model不在models.py中 在app的models目录中的models 你新建一个app后这个models.py就会自动建立,里面只有几行代码.那么如果是一个中大型项目,每个app里面可能需要建立很多表(一个表就对应models.py里面定义的一个class),那把这些类都写在一个.py文件中显然不是一个好主意,主要是不利于维护,那么我们是否可以把那些对应表的类写在单独文件中,并且这些单独文件统一在一个目录中呢?当然可以,如下图: 这种结构看起来清晰明了但是如何使用呢…

一.Mycat和Sharding-jdbc的区别 1)mycat是一个中间件的第三方应用,sharding-jdbc是一个jar包 2)使用mycat时不需要改代码,而使用sharding-jdbc时需要修改代码 Mycat(proxy中间件层): Sharding-jdbc(TDDL为代表的应用层): 二.Mycat分片join 在前面的文章Mysql系列四:数据库分库分表基础理论中,已经说过分库分表需要应对的技术难题有如下几个: 1.)分布式全局唯一id 2.)分片规则和策略 3.)跨分片技…

用Ajax,Ajax有很多种写法,包括JQuery和JS,这里贴一个用JQuery写的最通用的Ajax,POST方法传递JSON格式数据: $.ajax({ url: "your url", data: JSON.stringify({ // JSON格式封装数据 name: xxx, age: xx }), contentType: 'application/json', type: "POST", traditional: true, // 需要传递列表.字典时…

1.将下载好的压缩包放到/usr/local目录下# tar xzf redis-3.0.2.tar.gz # cd redis-3.0.2 # make 提示错误 make: cc: Command not found make: *** [adlist.o] Error 127没有安装gcc环境,需要安装gcc # yum install gcc安装后检查是否安装成功 # rpm -qa |grep gcc之后重新make2.编译完成后,在Src目录下,有四个可执行文件redis-serve…

Redis 中 used_cpu_sys 和 used_cpu_user含义. 在Redis的info命令输出结果中有如下四个指标,redis官网给出了下面一段解释,但是还是不明白什么意思. used_cpu_sys: System CPU consumed by the Redis server used_cpu_user:User CPU consumed by the Redis server used_cpu_sys_children: System CPU consumed by th…

本文主页链接:Windows API中的坑 ExpandEnvironmentStrings 风险: 进程会继承其父进程的环境变量.在展开如%APPDATA%等文件夹时,有可能父进程对此环境变量进行过改动.那么可能你获取的就不是你想要的当前SESSION的%APPDATA%了. 建议: 使用SHGetFolderPath系列函数来做这件事. GetModuleFileName 风险: 在DLL中调用时.若传入的instance參数为NULL,那获取的将是载入DLL的进程的EXE的路径.若须要获取…

在vue中,由于是单页面SPA,所以需要使用锚点来定位,在vue的官方文档中提到过也可以不使用锚点的情况,就是在vue-router中使用history模式,这样,在url中就不会出现丑陋的#了,但是这样的缺点在于不能再页面中再使用自己设定的锚点(利用href.name或id)并且需要后台的支持,所以一般我们使用带#的形式就可以了. 而在这之中一种比较特殊的情况在于,如果查询字符串和vue中的锚点同时出现,那么他们的位置关系是怎样的问题, 通过测试可以发现,vue自身的锚点在查询字符串之前或者在…

0.踩坑背景 执行Torch-RNN的时候,在LanguageModel.lua中的encode_string函数中,对start_text的各个character进行id映射编码,实现功能类似“北京天安门”-->“5 10 88 32 111”,方便后面的计算. 这个函数会利用一个全局的类似HashMap的table,hashmap中的key是character(char),value是id(int),涉及到一个从hashmap中按照key取值的操作,代码如下: local idx = sel…

0.Lua & LuaJIT简介 Lua 是一种轻量小巧的脚本语言,用标准C语言编写并以源代码形式开放, 其设计目的是为了嵌入应用程序中,从而为应用程序提供灵活的扩展和定制功能. Lua 是巴西里约热内卢天主教大学(Pontifical Catholic University of Rio de Janeiro)里的一个研究小组,由Roberto Ierusalimschy.Waldemar Celes 和 Luiz Henrique de Figueiredo所组成并于1993年开发,Lua在…

常规的模板渲染 from django.db import models # Create your models here. class ArticalType(models.Model): caption = models.CharField(max_length=16) class Category(models.Model): caption = models.CharField(max_length=16) class Artical(models.Model): title = mo…

龙君蛋君 2015年5月24日 1.背景介绍 最近公司在用R 建模,老板要求用shiny 展示结果,建模的过程中用到诸如kmean聚类,时间序列分析等方法.由于之前看过一篇讨论kmenas聚类针对某一特定数据类型,聚类结果非常不靠谱的文章,于是这个周末突发奇想,用shiny可交互的展示kmeans聚类中的坑...这篇博文就当是记录学习shiny和加深对kmeans.层次聚类的理解吧. 2.知识引用与学习 1)大数据分析之——k-means聚类中的坑 2)Shiny Gallery-This ga…

欢迎指正: Centos7 下的ulimit在Docker中的坑 http://www.dockone.io/article/522 僵尸容器:Docker 中的孤儿进程 https://yq.aliyun.com/articles/61894 安全性问题:Docker Demon开启2376端口引起容器安全问题.解决方案:开启iptables,同时关掉nf_conntrack连接跟踪,添加ip和端口过滤规则 consul网络波动:Consul通过udp协议跨数据中心广播,设置-advertis…

看标题.你可能会疑惑:咦?你这家伙.怎么不解说完整的快排,仅仅讲一部分快排---.- 哎,冤枉. "部分快排"是算法的名字.实际上本文相当具体呢.本文差点儿与普通快排无异.看懂了本文,你对普通的快排也会有更深的认识了. 高速排序算法(qsort)的原理我们大都应该了解.本文介绍的是部分高速排序算法. 事实上其算法本质是一样的,仅仅只是限定了排序的左右区间.也就是仅仅对一个数字序列的一部分进行排序.故称为"部分高速排序算法".简称:pqsort Redis项目中的pq…

今天给大家总结了Vue中的坑,都是平常踩到的,希望对大家有所帮助 1.vuex的一个“坑” 报错原因:在使用Vuex的时候在main.js中引入的时候对名字的大小写有区别 解决法案: 错误写法: 正确写法:…