项目pom文件 <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"> <mo

自定义flink的RedisSource,实现从redis中读取数据,这里借鉴了flink-connector-redis_2.11的实现逻辑,实现对redis读取的逻辑封装,flink-connector-redis_2.11的使用和介绍可参考之前的博客,项目中需要引入flink-connector-redis_2.11依赖 Flink读写Redis(一)-写入Redis Flink读写Redis(二)-flink-redis-connector代码学习 抽象redis数据 定义MyRedis

利用多写Redis实现分布式锁原理与实现分析   一.关于分布式锁 关于分布式锁,可能绝大部分人都会或多或少涉及到. 我举二个例子:场景一:从前端界面发起一笔支付请求,如果前端没有做防重处理,那么可能在某一个时刻会有二笔一样的单子同时到达系统后台. 场景二:在App中下订单的时候,点击确认之后,没反应,就又点击了几次.在这种情况下,如果无法保证该接口的幂等性,那么将会出现重复下单问题. 在接收消息的时候,消息推送重复.如果处理消息的接口无法保证幂等,那么重复消费消息产生的影响可能会非常大. 类似

引言 正如之前的一篇博文,LZ最近正在从零开始写一个redis的客户端,主要目的是为了更加深入的了解redis,当然了,LZ也希望deerlet客户端有一天能有一席之地.在写的过程当中,LZ遇到了一个非常奇葩的问题.虽然现在看起来是一个非常低级的错误,但是在未打开这个谜底之前,着实让LZ抓耳挠腮了一番,毕竟难者不会嘛. 接下来,大家就来一起看下到底是什么问题吧. restore命令的奇葩之处 刚开始写redis客户端时,LZ只支持了一些常用的命令,比如get,set.初次写这个客户端时,LZ采取

  本帖最后由 howtodown 于 2016-10-3 16:01 编辑问题导读1.为什么会产生分布式锁?2.使用分布式锁的方法有哪些?3.本文创造的分布式锁的双写Redis框架都包含哪些内容? 一.关于分布式锁 关于分布式锁,可能绝大部分人都会或多或少涉及到. 我举二个例子: 场景一:从前端界面发起一笔支付请求,如果前端没有做防重处理,那么可能在某一个时刻会有二笔一样的单子同时到达系统后台. 场景二:在App中下订单的时候,点击确认之后,没反应,就又点击了几次.在这种情况下,如果无法保证该

想没想过,自己写一个redis客户端,是不是很难呢? 其实,并不是特别难. 首先,要知道redis服务端用的通信协议,建议直接去官网看,博客啥的其实也是从官网摘抄的,或者从其他博客抄的(忽略). 协议说明中文官网地址: http://www.redis.cn/topics/protocol.html   redis通信协议 列出主要的点,便于对于下面程序的理解. Redis在TCP端口6379(默认端口,在配置可以修改)上监听到来的连接,在客户端与服务器端之间传输的每个Redis命令或者数据都以

spring-data整合了redispool, 并提供redisTemplate使用, 但有时需要用到shradedJedisPool, 就需要手动注入了 手写redispool并注入springboot中 1, redis配置文件 redis.properties redis.config.ip=192.168.50.37 redis.config.port= redis.config.maxTotal= redis.config.maxIdle= redis.config.maxWaitm

在前面一遍随笔,配置的是mysql主从的docker-compose配置.今天我们来学习配置编排容器redis. 准备环境: docker 18.06.1-ce docker-compose 1.23.0-rc3 redis最新版 开始: 1.首先我们创建下docker文件的目录,并新建Dockerfile.redis-entrypoint.sh.redis.conf 如下图: Dockerfile文件内容如下: FROM redis:latest #指定启动容器的镜像 MAINTAINER c

功能描述: 先从缓存获取数据,如果缓存没有,就从数据库获取数据,并设置到缓存中,返回数据. 如果数据库中没有数据,需要设置一个缓存标记flagKey,防止暴击访问数据库,用缓存保护数据库. 当删除缓存key时,需要同时删除flagKey,保证数据库可被访问. 关于java泛型的知识点,这里就跳过了.不理解的就自己去百度一下. 直接上代码: 1.先定义泛型接口,用于写从数据库获取数据的方法. /** * 普通数据获取器 * */ public interface DataGeter<T> { /

前言 - Simple Dynamic Strings  antirez 想统一 Redis,Disque,Hiredis 项目中 SDS 代码, 因此构建了这个项目 https://github.com/antirez/sds . 更多介绍的背景知识, 可以阅读 README.md. sds 项目是 C 字符串数据结构在实际环境中一种取舍实现, 库本身是非线程安全的. 下面 来带大家手写相关代码, 透彻了解这个库的意图(antirez 注释的很棒). #define SDS_MAX_PREAL

引言 - 导航栏目 有些朋友可能对 redis 充满着数不尽的求知欲, 也许是 redis 属于工作, 交流(面试)的大头戏, 不得不 ... 而自己当下对于 redis 只是停留在会用层面, 细节层面几乎没有涉猎. 为了更快的融于大 家, 这里尝试抛砖引玉. 先带大家手写个 redis 中最简单的数据结构, adlist 双向链表. 让我们一 起对 redis 有个初步的认知. 本文会从下面几个标题展开解读(吐槽), 欢迎交流和指正. 1. redis adlist 解析 2. redis c

引言 - 整体认识 redis ae 事件驱动模型, 网上聊得很多. 但当你仔细看完一篇又一篇之后, 可能你看的很舒服, 但对于 作者为什么要这么写, 出发点, 好处, 缺点 ... 可能还是好模糊, 不是吗? 我们这里基于阅读的人已经了解了 IO 复用大致流程且抄写过 ae 的全部代码. 好, 那开始吧, 希望后面的 点拨, 给同学们醍醐灌顶一下. 先看看 ae.h 设计 /* A simple event-driven programming library. Originally I wr

使用的flink版本:1.9.1 异常描述 需求: 从kafka读取一条数据流 经过filter初次筛选符合要求的数据 然后通过map进行一次条件判断再解析.这个这个过程中可能返回null或目标输出outData. 最后将outData通过自定义sink写入hbase. 转换核心代码: val stream: DataStream[Input] = source.filter(s => (!s.equals(null)) && (s.contains("\"typ

源码结构 RedisSink package org.apache.flink.streaming.connectors.redis; import org.apache.flink.configuration.Configuration; import org.apache.flink.streaming.api.functions.sink.RichSinkFunction; import org.apache.flink.streaming.connectors.redis.common.

说到布隆过滤器不得不提到,redis, redis作为现在主流的nosql数据库,备受瞩目:它的丰富的value类型,以及它的偏向计算向数据移动属性减少IO的成本问题.备受开发人员的青睐.通常我们使用redis作为数据缓存来使用,但是作为缓存redis会有一些问题,就是缓存穿透问题.击穿.雪崩.一致性双写.本次主要讲解的就是穿透问题 首先我们先思考一下为什么会产生穿透的问题. 假设我们有一些数据,存储在了MySQL中,但是由于用户量的庞大我们需要在在用户访问数据的时候需要在redis中进行一个过

Redis请求协议的一般形式: *<参数数量> CR LF $<参数 的字节数量> CR LF <参数 的数据> CR LF ... $<参数 N 的字节数量> CR LF <参数 N 的数据> CR LF 备注:CR表示为\r; LF表示\n 下面是一个例子: * $ SET $ mykey $ myvalue Redis回复 Redis 命令会返回多种不同类型的回复. 通过检查服务器发回数据的第一个字节, 可以确定这个回复是什么类型: 状态回

网络层 客户端和服务器通过 TCP 连接来进行数据交互, 服务器默认的端口号为 6379 . 客户端和服务器发送的命令或数据一律以 \r\n (CRLF)结尾. 请求 Redis 服务器接受命令以及命令的参数. 服务器会在接到命令之后,对命令进行处理,并将命令的回复传送回客户端. 新版统一请求协议 新版统一请求协议在 Redis 1.2 版本中引入, 并最终在 Redis 2.0 版本成为 Redis 服务器通信的标准方式. 你的 Redis 客户端应该按照这个新版协议来进行实现. 在这个协议中

一.RESP通信协议 Redis Serialization Protocol (Redis序列化协议). 特点:容易实现.解析快.可读性强 以\r\n分割数据. 二.撸代码 package com.dongnao.demo; import java.io.IOException; import java.io.InputStream; import java.io.OutputStream; import java.net.Socket; /** * Created by crescendo.

1.文件包下载 http://pan.baidu.com/s/1qW9DHYc 2.安装 gcc -fPIC -Wall -I/usr/local/mysql/include/mysql -I. -shared udf_redis.c cJSON.c -o udf_redis.so cp udf_redis.so /usr/local/mysql/lib/plugin/ 3.生成函数 DROP FUNCTION IF EXISTS `redis_connect`; DROP FUNCTION I

整数回复 整数回复就是一个以 ":" 开头, CRLF 结尾的字符串表示的整数. 比如说, ":0\r\n" 和 ":1000\r\n" 都是整数回复. 返回整数回复的其中两个命令是 INCR 和 LASTSAVE . 被返回的整数没有什么特殊的含义, INCR 返回键的一个自增后的整数值, 而 LASTSAVE 则返回一个 UNIX 时间戳, 返回值的唯一限制是这些数必须能够用 64 位有符号整数表示. 整数回复也被广泛地用于表示逻辑真和逻辑假