Keyspaces A cluster is a container for keyspaces. A keyspace is the outermost container for data in Cassandra, corresponding closely to a schema in a relational database. The keyspace can include operational elements, such as replication factor and d…

1. Redis的安装 sudo pip install redis sudo pip install hiredis Parser可以控制如何解析redis响应的内容.redis-py包含两个Parser类,PythonParser和HiredisParser.默认,如果已经安装了hiredis模块,redis-py会使用HiredisParser,否则会使用PythonParser.HiredisParser是C编写的,由redis核心团队维护,性能要比PythonParser提高10倍以上…

java服务端的代码请看上文. 1.说明: 这两篇文章其实解决的问题是,当使用python去访问大数据线上集群的时候,遇到两个问题: 1)python-hadoop和python-hive相关包链接不稳定,表现为经常出现链接超时: 2)如果使用fork进程执行hadoop fs或者hive -e的方式则消耗大量的机器资源,包括进程资源和集群链接资源. 我们的解决方式是写一个java的代理服务,使用java-hadoop封装了对集群的操作,通过thrift提供接口给python程序. 2.编译.t…

项目中使用了python,需要使用到zookeeper的功能,这里记录一下安装过程. 内核版本:2.6.32 发行版:CentOs-6.6 64bit 1.由于python客户端依赖c的客户端所以要先安装c版本的客户端 [root@rocket c]# cd /usr/local/zookeeper-3.4.6/src/c [root@rocket c]# ./configure [root@rocket c]# make [root@rocket c]# make install 2.测试c客…

要求:安装python2.7,安装git 1.git clone https://github.com/houtianze/bypy.git 2.cd bypy 3.sudo python setup.py install 4.bypy info收到提示: Please visit: https://openapi.baidu.com/oauth/2.0/authorize?scope=basic+netdisk&redirect_uri=oob&response_type=code&am…

★  cql操作数据库(cqlsh.bat: python cqlsh命令操作<优缺点:https://blog.csdn.net/vbirdbest/article/details/77662727>): https://www.cnblogs.com/piaolingzxh/p/4197833.html  ★★★ https://blog.csdn.net/chinabestchina/article/details/81953045 ★ 实战: https://www.cnblogs.c…

前提:服务端是现成的,java.springMVC.resttemplate.jboss等:突然有个需要,要在windows上开发一个客户端,作用是定期向服务端上传文件.想了想,如果客户端写一个java程序,势必要求在windows上安装java的运行环境,这样比较麻烦.后来的解决思路是写python的程序,然后打包成exe在windows上执行.以下是Rest Post示例的服务端.客户端代码. server端代码: @RequestMapping(value = "/uploadScript…

上一篇说了最为底层的用来网络通讯的套接字.有很多基于套接字的一些协议,这些协议构成了当今互联网大多数客户服务器应用的核心 其实这些协议时在套接字上面的进一层封装用来完成特定的应用,这些应用主要包括: 文件传输(FTP, SCP 等) 阅读Usenet 新闻组(NNTP) e-mail 发送(SMTP) 从服务器上下载e-mail(POP3, IMAP)等等 这些协议的工作方式与之前在套接字编程中介绍的客户端/服务器的例子很像 因特网客户端?? 好吧,之前我们实现了两个机器的通信,那因特网呢?其实…

摘要: Ffrpc可以很方便的构建c++ server, 在网游服务器程序开发中,进程间通讯非常的重要,比如gateserver和gameserver或dbserver之间的通信.而ffrpc可以使得进程间通信非常简单,是由于ffrpc的broker模式封装了位置无关性,使得如gate调用gameserver的接口只需要知道对方的服务名,从而使得程序中各个节点的关系与系统的拓扑关系是完美吻合的.这也使得系统的架构更加清晰,系统的实现更健壮和易维护. 之前ffrpc只提供了c++ server/c…

还有一种创建方式 是使用py开发工具,调用openstackclient的方法进行创建实例 ,好处就是可随意指定我们要的虚拟机IP地址,需求的场景就是,某天我们需要主动分配一个比较熟知的IP用作某个服务组件   或者某天,你需要打包一个实例的快照,终止实例后,你想通过快照的方式将它恢复为原来的IP,可以使用以下方法.   以win7客户端为例. 先下载安装eclipse 安装 安装 eclipse 的python插件,插件安装方法可自行百度   本机,安装python2.7环境 安装完后,添加p…

启动cqlsh时,保存如下: Connection error: ('Unable to connect to any servers', {'127.0.0.1': error(111, "Tried connecting to [('127.0.0.1', 9042)]. Last error: Connection refused")}) 在启动时,指定连接的IP和端口 ./cqlsh xxx.xxx.xxx.xxx 9042 输出结果如下: Connected to Test…

点对点通讯分为客户端和服务器,多个客户端通过服务器进行信息的交流 服务器端代码  service端 #!/usr/bin/env python # -*- coding:utf-8 -*- import SocketServer import subprocess ## 代号 地址和端口 连接对象 class myconn(object): ##存放连接 listconn = {} ## 地址端口 连接对象 # codeflage = {} ## 代号 地址端号 class MyServer(S…

使用Python连接Redis,需要先安装Python以及redis-py,以CentOS为例,介绍redis-py的客户端环境搭建. 第0步:准备工作 华为云上购买1台弹性云服务器ECS(我选了CentOS 6.3),一个分布式缓存实例(DCS for Redis),我选了个单机实例. 注意ECS和缓存实例配置相同的VPC和安全组,确保网络互通. 第1步:安装python和redis-py 如果系统没有自带python,可以使用yum方式安装. yum install python 下载并解压…

add by zhj: 对Publish / Subscribe,LUA Scripting,Sentinel support,Scan Iterators等部分没有翻译,需要的用户参见英文原文吧.另外,我对译文略有修改,如果要使用watch,我更喜欢第一种方法(使用with),而第二种有点复杂,不简练,第三种将事务分成了两个函数,两个函数watch的键要一致,容易出错. 目录: 1. 安装 2. 入门     3. API参考     4. 详细说明       4.1 连接池 4.2 连接…

Kafka 中有这样一个概念消费者组,所有我们去订阅 topic 和 topic 交互的一些操作我们都是通过消费者组去交互的. 在 consumer 端设置了消费者的名字之后,该客户端可以对多个 topic 进行订阅.我们也可以通过 group-id 来识别是谁在消费消息,或者在消费哪些组的消息. 发挥 consumer 最大的效果就是和 broker 的 topic 下的 partitions 数相等. 做到一个 parititons 分配一个独立的 consumer 去消费能达到最高效果,比…

之前使用 Kafka 的客户端消费者比较多一点,而且也是无脑订阅使用也没有深入了解过具体的参数.总的来说使用不够细节. 这次公司项目活动期间暴露非常多的问题,于是有了这篇文章. 首先我们来拆解一下 Kafka KafkaProducer 类给我们暴露的参数,我会依次介绍一下这些参数的功能以及效果,其中也包括比较重要的自定义 paritiition 的参数. 1. bootstrap_servers bootstrap_servers: 'host[:port]' string (or list…

概述 Redis是一个基于key-value键值对的持久化数据库存储系统.redis支持的数据存储类型比memcached更丰富,包括strings(字符串),lists(列表),sets(集合)和sorted sets(有序集合)等. 这些数据类型支持push/pop,add/remove及取交集,并集和差集及更丰富的操作,而且这些操作都是原子性的.在此基础上,redis支持各种不同方式的排序.与memcached缓存服务一样,为了保证效率,数据都是缓存在内存中提供服务.和memcached不…

1. 安装 1. redis-py a. 使用easy_install 1 sudo easy_install redis  b. 源码安装 1 2 3 git clone https://github.com/andymccurdy/redis-py.git cd redis-py python setup.py install 2. Parser安装 Parser可以控制如何解析redis响应的内容.redis-py包含两个Parser类,PythonParser和HiredisParser…

solrPy 基础使用: 1)与solr建立连接 import solr s = solr.Solr('http://host:ip/solr/collectionName') 2)查询 r = s.select('*:*') for hit in r.results: pirnt hit 具体参考: solrpy documentation ------------------------------------------ 选择solrPy的初衷: 1)初期想法:solr做数据存储,做“数据…

使用的python库: kafka-python 安装方式: pip install kafka-python 简单的模拟Producer """ Kafka Producer Test using kafka-python library """ # -*- encoding: utf-8 -*- # Author: shayzhang@sina.com # import KafkaProducer class from kafka impor…

原文:https://serholiu.com/python-mongodb 这几天在学习Python Web开发,于是做准备做一个博客来练练手,当然,只是练手的,博客界有WordPress这样的好玩意儿,何必还自己造车呢?决定使用Tornado这个框架,然后数据库方面决定顺便熟悉一下MongoDB这样的非关系型数据库.Python让我觉得轻松,再和MongoDB搭配上,那感觉真是好. 下面就谈谈Python操作MongoDB的一些基本用法,先介绍一下MongoDB,这是现在风头正劲的NoSQL…

安装 redis-py 使用easy_install sudo easy_install redis 源码安装 git clone https://github.com/andymccurdy/redis-py.git cd redis-py python setup.py install 使用         redis-py提供两个类Redis和StrictRedis用于实现Redis的命令,StrictRedis用于实现大部分官方的命令,并使用官方的语法和命令(比如,SET命令对应与Str…

Keyword: Python Oauth2 微博 sina weibo #!/usr/bin/env python # -*- coding: utf-8 -*- __version__ = '1.04' __author__ = 'Liao Xuefeng (askxuefeng@gmail.com)' ''' Python client SDK for sina weibo API using OAuth 2. ''' try: import json except ImportError…

按照安装文档搭建完移动端自动化测试环境,包括:SDK.JDK.Node.js.Appium及客户端后,appium-doctor可以成功的检测到各配套版本.如下图: 可是,运行from appium import webdriver出错,上报:ImportError: cannot import name InvalidArgumentException错误. 我查看C:\Python27\Lib\site-packages\appium\webdriver\webdriver.py文件,发现该…

elasticsearch入门:  http://www.qwolf.com/?p=1387 一.重要的概念 http://834945712.iteye.com/blog/1915432 这篇文章很多类比做的很好,便于快速理解pyes的结构 http://blog.plotcup.com/a/106  很清晰的示例代码 1. 使用pip install pyes 或者 easy_install pyes安装pye 2. 测试使用pyes官方文档或者其他pyes文档的API的增删改 import…

一.安装redis-py的方法 使用pip install安装redis-py C:\Users\BigJun>pip3 install redis Collecting redis Downloading https://files.pythonhosted.org/packages/3b/f6/7a76333cf0b9251ecf49efff635015171843d9b977e4ffcf59f9c4428052/redis-2.10.6-py2.py3-none-any.whl (64kB…

httplib import httplib soapbody =''' <soapenv:Envelope xmlns:soapenv="http://schemas.xmlsoap.org/soap/envelope/" xmlns:te="http://tempuri.org/"> <soapenv:Header/> <soapenv:Body> <te:GetLisRequest> <te:Barcode…

硬件环境 本文适用的硬件环境如下 Linux版本:CentOS release 6.7 (Final) Redis版本: Redis已经成功安装,安装路径为/home/idata/yangfan/local/redis-3.2.1. 我们要在单台机器上搭建Redis集群,方式是通过不同的TCP端口启动多个实例,然后组成集群. 1.启动Redis多个实例 我们在Redis安装目录下创建目录cluster,并编写7000.conf~7005.conf 6个配置文件,这6个配置文件用来启动6个实例,后…

 修改conf目录下cassandra.yaml文件 authenticator: PasswordAuthenticator //将authenticator修改为PasswordAuthenticator 重新启动cassandra并且根据默认用户登录cqlsh,用户名密码都是cassandra ./cassandra ./cqlsh -ucassandra -pcassandra 如果要修改默认用户,进入cqlsh后 //超级用户可以更改用户的密码或超级用户身份.为了防止禁用所有超级,超级…

1.安装python-grpc(注意,是grpcio包,不是grpc包!) pip install grpcio 2.编写.proto文件 grpc教程:http://doc.oschina.net/grpc?t=60138 grpc proto文件编写注意事项:https://blog.csdn.net/qq_43178297/article/details/88053268 3.使用proto文件生成python客户端和服务端文件 python -m grpc_tools.protoc -I…