logstash->redis->logstash->elasticsearch 1.安装部署redis cd /usr/local/src wget http://download.redis.io/releases/redis-3.2.8.tar.gz tar xf redis-3.2.8.tar.gz cd redis-3.2.8/ make ln -s /usr/local/src/redis-3.2.8 /usr/local/redis cd /usr/local/redis/…

这篇blog是介绍: 1. java中的poi技术读取Excel数据,然后保存到MySQL数据中. 2. jxl读写excel 你也可以在 : java的poi技术读取和导入Excel了解到写入Excel的方法信息 项目结构: Excel中的测试数据: 数据库结构: 对应的SQL: 1 CREATE TABLE `student_info` ( 2 `id` int(11) NOT NULL AUTO_INCREMENT, 3 `no` varchar(20) DEFAULT NULL, 4 `…

一.前言 Redis 提供了5种数据类型:String(字符串).Hash(哈希).List(列表).Set(集合).Zset(有序集合),理解每种数据类型的特点对于redis的开发和运维非常重要. Redis 中的 list 是我们经常使用到的一种数据类型,根据使用方式的不同,可以应用到很多场景中. 二.操作命令  List数据类型在 Redis 中的相关命令:: 命令 描述 用法 LPUSH 1.将一个或多个值value插入到列表key的表头2.如果有多个value值,那么各个value值按…

小喵的唠叨话:前面我们介绍了Redis的string的数据结构的原理和操作.当时我们提到Redis的键值对不仅仅是字符串.而这次我们就要介绍Redis的第二个数据结构了,List(链表).由于List在原理上的实现并不是特别的复杂,我们在这里将原理和具体的命令都放在一起介绍. 小喵的个人博客地址: http://www.miaoerduo.com/ ,欢迎随时骚扰~ 该博客原地址: http://www.miaoerduo.com/redis/三.redis基本操作-list.html ,排版应…

Redis+TwemProxy(nutcracker)集群方案部署记录 转自: http://www.cnblogs.com/kevingrace/p/5685401.html Twemproxy 又称nutcracker ,是一个memcache.Redis协议的轻量级代理,一个用于sharding 的中间件.有了Twemproxy,客户端不直接访问Redis服务器,而是通过twemproxy 代理中间件间接访问. Twemproxy 为 Twitter 开源产品,简单来说,Twemproxy…

自定义flink的RedisSource,实现从redis中读取数据,这里借鉴了flink-connector-redis_2.11的实现逻辑,实现对redis读取的逻辑封装,flink-connector-redis_2.11的使用和介绍可参考之前的博客,项目中需要引入flink-connector-redis_2.11依赖 Flink读写Redis(一)-写入Redis Flink读写Redis(二)-flink-redis-connector代码学习 抽象redis数据 定义MyRedis…

一.开发背景 在项目开发过程中中遇到了以下三个需求: 1. 多个用户同时上传数据: 2. 数据库需要支持同时读写: 3. 1分钟内存储上万条数据: 根据对Mysql的测试情况,遇到以下问题: 1. 最先遇到压力的是服务器,在写入2500-3000条数据时,服务器崩溃了: 2. 当数据库写入时,耗时太长,10000条数据,大概需要505.887s,相当于8分钟,如下: a. 表结构: b. 数据库Procedure: DROP PROCEDURE IF EXISTS my_insert; CREA…

Redis 是一个高性能的 key-value 存储系统,被广泛用于微服务架构中.如果我们想要使用 Redis 集群模式提供的高级特性,则需要对客户端代码进行改动,这带来了应用升级和维护的一些困难.利用 Istio 和 Envoy ,我们可以在不修改客户端代码的前提下实现客户端无感知的 Redis Cluster 数据分片,并提供读写分离.流量镜像等高级流量管理功能. Redis Cluster Redis 的一个常见用途是用作数据高速缓存.通过在应用服务器和数据库服务器之间加入一个 Redis…

类型设置: logstash中的redis插件,指定了三种方式来读取redis队列中的信息. list=>BLPOP                                    (相当于队列,对应redis中的list类型) channel=>SUBSCRIBE                     (相当于发布订阅的某个特定的频道,对应redis中的订阅特定频道) pattern_channel=>PSUBSCRIBE       (相当于发布订阅某组频道,对应redis中…

Redis 服务器是Logstash 推荐的Broker选择,Broker 角色就意味会同时存在输入和输出两个插件. 5.1.1 读取Redis 数据 LogStash::Input::Redis 支持三种data_type(实际上是redis_type), 不同的数据类型会导致实际采用不同的Redis命令操作: 1. 配置示例: zjtest7-frontend:/usr/local/logstash-2.3.4/config/redis# cat redis01.conf input { r…