目录 写在前面 亿级流量IM的应用场景 十万级 单体IM 系统 高并发分布式IM系统架构 疯狂创客圈 Java 分布式聊天室[ 亿级流量]实战系列之 -10[ 博客园 总入口 ] 写在前面 ​ 大家好,我是作者尼恩.目前和几个小伙伴一起,组织了一个高并发的实战社群[疯狂创客圈].正在开始高并发.亿级流程的 IM 聊天程序 学习和实战 ,今天是第10篇. 亿级流量IM的应用场景 随着移动互联网.AI的飞速发展,高性能高并发IM(即时通讯),有着非常广泛的应用场景. 一切高实时性通讯.消息推送的场景

http://rdcqii.hundsun.com/portal/article/709.html KAFKA是分布式发布-订阅消息系统,是一个分布式的,可划分的,冗余备份的持久性的日志服务.它主要用于处理活跃的流式数据. 现在被广泛地应用于构建实时数据管道和流应用的场景中,具有横向扩展,容错,快等优点,并已经运行在众多大中型公司的生产环境中,成功应用于大数据领域,本文分享一下我所了解的KAFKA. 1 KAFKA高吞吐率性能揭秘 KAFKA的第一个突出特定就是“快”,而且是那种变态的“快”,在

1 什么是Redis Redis(REmote DIctionary Server,远程数据字典服务器)是开源的内存数据库,常用作缓存或者消息队列. Redis的特点: Redis存在于内存,使用硬盘作为持久化:每秒十万读写. 具有丰富的数据结构,字符串.哈希表.列表.集合.有序集合:提供交集.并集.差集等操作. 设置TTL存活时间,到期自动删除. Redis单线程.Memcached多线程:对于一般的应用场景,单线程也足够使用,优势还是在于多数据类型.持久化. 可以将数据复制到任意数量的从服务

为什么会出现TokuMX呢? 查阅大量的资料和翻阅一些大牛的博客发现,MongoDB作为nosql派别的一个典型非关系型数据库其实存在许多缺陷不足之处. 然后肯定就会有有人跳出来,来做一个衍生的东西,心想着“我要把你的这些缺点都给改过来,然后做一个产品肯定赚钱”,其实不然,在你改正这些缺点的过程中,也可能发生别的新问题,而开发MongoDB的始祖们看到竞争者,也会对MongoDB做出相应的升级和改善.说了这么多,就是当我们选择使用的时候,要比较这两者,和我们的需求作比较,最后再决定用哪个. 开始

转自:http://guoyunsky.iteye.com/blog/1169912 队列很常见,但大部分的队列是将数据放入到内存.如果数据过多,就有内存溢出危险,而且长久占据着内存,也会影响性能.比如爬虫,将要抓取的URL放到内存,而URL过多,内存肯定要爆.在读Heritrix源码中,发现Heritrix是基于Bdb实现了一个持久化队列,于是我就将这块代码独立出来,平时使用也蛮爽的,现在拿出来共享.同时数据已经持久化,相比放在内存的一次性,可以循环累加使用. 大家也知道BDB的高性能和嵌入式

转自:http://www.cnblogs.com/xing901022/p/4863929.html 1 什么是Redis Redis(REmote DIctionary Server,远程数据字典服务器)是开源的内存数据库,常用作缓存或者消息队列. Redis的特点:Redis存在于内存,使用硬盘作为持久化:每秒十万读写.具有丰富的数据结构,字符串.哈希表.列表.集合.有序集合:提供交集.并集.差集等操作.设置TTL存活时间,到期自动删除.Redis单线程.Memcached多线程:对于一般

“ 这篇文章,给大家聊聊一个百万级并发的中间件系统的内核代码里的锁性能优化. 很多同学都对Java并发编程很感兴趣,学习了很多相关的技术和知识.比如volatile.Atomic.synchronized底层.读写锁.AQS.并发包下的集合类.线程池,等等. 1.大部分人对Java并发仍停留在理论阶段 很多同学对Java并发编程的知识,可能看了很多的书,也通过不少视频课程进行了学习. 但是,大部分人可能还是停留在理论的底层,主要是了解理论,基本对并发相关的技术很少实践和使用,更很少做过复杂的中间

1 什么是Redis Redis(REmote DIctionary Server,远程数据字典服务器)是开源的内存数据库,常用作缓存或者消息队列. Redis的特点: Redis存在于内存,使用硬盘作为持久化:每秒十万读写. 具有丰富的数据结构,字符串.哈希表.列表.集合.有序集合:提供交集.并集.差集等操作. 设置TTL存活时间,到期自动删除. Redis单线程.Memcached多线程:对于一般的应用场景,单线程也足够使用,优势还是在于多数据类型.持久化. 可以将数据复制到任意数量的从服务

Redis Redis(REmote DIctionary Server,远程数据字典服务器)是开源的内存数据库,常用作缓存或者消息队列. Redis的特点: Redis存在于内存,使用硬盘作为持久化:每秒十万读写. 具有丰富的数据结构字符串.哈希表.列表.集合.有序集合:提供交集.并集.差集等操作. 设置TTL存活时间,到期自动删除. Redis单线程.Memcached多线程:对于一般的应用场景,单线程也足够使用,优势还是在于多数据类型.持久化. 可以将数据复制到任意数量的从服务器. red

InfluxDB是一个开源的时序数据库,使用GO语言开发,特别适合用于处理和分析资源监控数据这种时序相关数据.而InfluxDB自带的各种特殊函数如求标准差,随机取样数据,统计数据变化比等,使数据统计和实时分析变得十分方便. influxdb的单机版是开源的,而集群版是商业版,influxdb被设计运行在SSD上,如果使用机器或者网络磁盘作为存储介质,会导致性能下降至少一个数量级.influxdb支持restful api,同时也支持https,为了保证安全性,非局域网建议使用https与Inf

InfluxDB是一个开源的时序数据库,使用GO语言开发,特别适合用于处理和分析资源监控数据这种时序相关数据.而InfluxDB自带的各种特殊函数如求标准差,随机取样数据,统计数据变化比等,使数据统计和实时分析变得十分方便. influxdb的单机版是开源的,而集群版是商业版,influxdb被设计运行在SSD上,如果使用机器或者网络磁盘作为存储介质,会导致性能下降至少一个数量级.influxdb支持restful api,同时也支持https,为了保证安全性,非局域网建议使用https与Inf

1.存储结构:字符串.散列.列表.集合.有序集合. redis存储结构的优势:数据在redis中的储存方式和其在程序中的储存方式相近:redis对不同数据类型提供非常方便的操作方式,如使用集合类型储存标签,可以很方便的对标签进行交集并集这样的集合运算. 2.内存存储与持久化:redis数据库中所有数据都存储在内存中,读写快,一台普通的笔记本读写速度超过一秒十万条键值对(13年的水准).同时redis提供持久化支持,将内存中的数据异步持久化到硬盘. 3.redis功能丰富,redis可以设置键值对

1.场景描述 因kafka以前用的不多,只往topic中写入和读取过数据,这次刚好又要用到,记录下kafka集群搭建及结合springboot使用. 2. 解决方案 2.1 简单介绍 (一)关于kafka,网上的介绍有很多,简单说就是消息中间件,大数据项目中经常使用,我们项目是用于接收日志流水数据. (二)关于消息中间件,主要有四个: (1)ActiveMQ:历史悠久,以前项目中使用多,现在更新慢,性能相对不高. (2)RabbitMQ:可靠性高.安全,模式比较多,java使用比较多,每秒十万级

背景 笔者所在的业务线,最初化分为三个服务,由于业务初期业务复杂度相对简单,三个业务服务都能很好的独立完成业务功能. 随着产品迭代,业务功能越来越多后慢慢也要面对高并发.业务解耦.分布式事务等问题,所以经过团队内部讨论,引入 RocketMQ 消息中间件来更好的处理业务. 由于公司内部业务线部署相互独立,我们业务线对引入 RocketMQ 的需求也比较急切,所以打算自己搭建一套高可用的 RocketMQ 集群,同时对于自建的 RocketMQ 集群需要如下特性: 高可用 高并发 可伸缩 海量消息

背景 前段时间工作室接到一个与地图相关的项目,我作为项目组成员主要负责地图方面的设计和开发.由于地图部分主要涉及的是前端页面的显示,作为一名Java后端的小白,第一次写了这么多HTML和JavaScript. 项目大概是需要将一张CAD的图(导出大概三十万条数据)叠加在地图上,在接Canvas之前考虑了很多种方案,最后都否定了.首先我们想利用百度地图原生的JavaScript API实现线和点的加载,但是经过测试,当数据达到2000左右,加载时间就已经达到了数十秒,后来直接测试了一万条数据,浏览

万以下小表做性能优化没有多大意义,因此我需要创建大表: 创建大表有三种方法,一种是insert into table selec..connect by.的方式,它最快但是数据要么是连续值,要么是随机值或是系统值,并不好用,而且总量上受到限制:另一种方法是用程序,借助Oracle的批量插值语法插入数据,它好在数据可以用程序掌控,总量也没有限制,缺点是速度慢:还有一种方法是有一张大表,把它的数据倒腾进来,语法是 insert into newtable select * from oldtable

netty是jboss公司开发的,基于异步的.事件驱动的网络应用程序框架,快速开发高性能.高可靠性的服务器和客户端程序 public class TimeServer { ; public void run() throws Exception { EventLoopGroup bossGroup = new NioEventLoopGroup(); // (1) EventLoopGroup workerGroup = new NioEventLoopGroup(); try { Server

昨天做了插入的单线程多线程比较,今天做个删除的. 单线程批量删除类代码: package com.hy.delete.singlethread; import java.sql.Connection; import java.sql.DriverManager; import java.sql.ResultSet; import java.sql.SQLException; import java.sql.Statement; import org.apache.log4j.Logger; im

Github上看到: https://github.com/lcosmos/map-canvas 这个实现台风轨迹,这个数据量非常庞大,当时打开时,看到这么多数据加载很快,感到有点震惊,然后自己研究了一番,发现作者采用的是Canvas作为百度的自定义覆盖层. <!DOCTYPE html> <html> <head> <title>百度地图Canvas海量折线</title> <meta http-equiv="Content-T

1. 背景 1.1. 话题来源 最近很多从事移动互联网和物联网开发的同学给我发邮件或者微博私信我,咨询推送服务相关的问题.问题五花八门,在帮助大家答疑解惑的过程中,我也对问题进行了总结,大概可以归纳为如下几类: Netty是否可以做推送服务器? 如果使用Netty开发推送服务,一个服务器最多可以支撑多少个客户端? 使用Netty开发推送服务遇到的各种技术问题. 由于咨询者众多,关注点也比较集中,我希望通过本文的案例分析和对推送服务设计要点的总结,帮助大家在实际工作中少走弯路. 1.2. 推送服务