视频地址: https://www.bilibili.com/video/av35354301/?p=1           2019/03/06 21:59 消息队列的内部实现: Kafka基础: 同一个消费者组的消费者不可以同时消费同一个分区的消息:  ps:kafka架构  好图!!! Kafka集群部署: ~~~~~~~~~~~~~~~~~~~~~~~ Kafka生产过程分析: Kafka API 高级api: 生产者    自定义分区功能 低级api: ps:  API需要实践出真知!…

分布式文档存储 ES分布式特性 屏蔽了分布式系统的复杂性 集群内的原理 垂直扩容和水平扩容 真正的扩容能力是来自于水平扩容–为集群添加更多的节点,并且将负载压力和稳定性分散到这些节点中 ES集群特点 一个集群拥有相同的cluster.name 配置的节点组成, 它们共同承担数据和负载的压力 主节点负责管理集群的变更例如增加.删除索引,或者增加.删除节点等. 而主节点并不需要涉及到文档级别的变更和搜索等操作 集群健康 1.GET /_cluster/health 返回值中的status 是我们关注…

1 redis的事务(pipeline)测试 Redis本身对数据进行操作,单条命令是原子性的,但事务不保证原子性,且没有回滚.事务中任何命令执行失败,其余的命令仍会被执行,将Redis的多个操作放到一起执行,要成功多成功,如果失败了,可以把整个操作放弃,可以实现类似事物的功能.redis事务包含三个阶段:开始事务,命令入队,执行事务.redis的分片副本集集群不支持pipeline,redis只支持单机版的事务(pipeline),Redis的主从复制也支持pipeline(目前一些公司就是这…

1.两种方式管理偏移量并将偏移量写入redis (1)第一种:rdd的形式 一般是使用这种直连的方式,但其缺点是没法调用一些更加高级的api,如窗口操作.如果想更加精确的控制偏移量,就使用这种方式 代码如下 KafkaStreamingWordCountManageOffsetRddApi package com._51doit.spark13 import com._51doit.utils.JedisConnectionPool import org.apache.kafka.clients…

SAS是著名的统计分析软件,全称为Statistics Analysis System,最早由北卡罗来纳大学的两位生物统计学研究生编制,并于1976年成立了SAS软件研究所,正式推出了SAS软件. 转载自:http://www.hejizhan.com/html/xueke/110/x110_46.html 这里有几十个SAS学习教程,大家可以按需下载学习,当然了,可以的话,还是多支持正版为好!  现代统计学与SAS应用 胡良平主编.pdf 10.39 MB  SAS数据挖掘实战精简版.pdf…

Thrift学习记录 Thrift是一个软件框架,用来进行可扩展且跨语言的服务的开发.它结合了功能强大的软件堆栈和代码生成引擎,以构建在C++,Java,Python,PHP,Ruby,Erlang, Perl, Haskell, C#, Cocoa, JavaScript, Node.js, Smalltalk, and OCaml等等编程语言间无缝结合的.高效的服务. Thrift服务开发的三个步奏:(如下图) 编写Thrift IDL,运行thrift命令生成相应的服务代码. 服务端编码(…

在我的Spring学习记录(四)中使用了注解的方式对前面三篇做了总结.而这次,使用了用户登录及注册来对于本人前面四篇做一个应用案例,希望通过这个来对于我们的Spring的使用有一定的了解. 1. 程序描述 首先,介绍一下这个程序具体是怎么走的. 我这里使用了画图软件简单的画了大概程序是怎么走的(有点难看,别介) 具体的描述就是,用户可以访问登录或者注册的页面,登录成功返回成功的页面,失败则反之.对于注册页面注册成功则为用户添加注册成功的奖励--10块钱(先别管这个合不合理),失败则返回失败页面.…

就像人们用同一种语言才可以顺畅交流一样,语言是计算机编程的根本,是IT世界交流的工具.运用这些计算机语言,人们可以创造出一个美妙的世界.你点击某个网页或是安装一个应用程序软件,这简简单单动作的背后,就是通过计算机语言来实现的. 我们将带您走进微软公司开发的经典语言——Csharp.    两大应用方向:CS运用和BS运用 Csharp语言有两大运用:CS运用和BS运用.CS主要运用于程序开发,通俗地说就是桌面应用软件的开发.比如一些财务软件.统计软件的开发,就可以使用Csharp语言来完成.BS…

http://rango.swoole.com 写好PHP代码真的不容易,给大家几个建议: 慎用全局变量,全局变量不好管理的,会导致你的代码依赖于全局变量,而耦合度太高. 一定不要复制粘贴代码,可重用的代码一定要写成函数,或者类.等你代码多了,就知道这个多么重要了. 不要硬编码数据到代码中,一定要可配置化.如果是全局使用的就搞个全局config.如果仅在类中使用,请使用类静态变量配置.别直接在代码里头写 程序的结构化要做好,先规划一个流程.代码怎么运转的,要很清晰,有主线,从A->B->C,一…

Ganglia & RRD Ganglia是伯克利开发的一个集群监控软件.可以监视和显示集群中的节点的各种状态信息,比如如:cpu .mem.硬盘利用率, I/O负载.网络流量情况等,同时可以将历史数据以曲线方式通过php页面呈现. Ganglia监控系统的核心有两部分:gmond 和 gmetad: gmond在各个节点上运行,负责采集数据: gmetad在主节点上运行,负责接收gmond采集上来的数据并将之储存在RRD中. RRD(Round-Robin Database)是一种固定大小的环…